SparkでJDBCを削除する方法は何ですか？

2年 ago
夏樹, 風
1 minute

Sparkでは、DataFrameWriterのjdbcメソッドを使用して、JDBCでデータを削除することができます。具体的な手順は以下の通りです。

import org.apache.spark.sql._

val spark = SparkSession.builder()
  .appName("Delete JDBC data")
  .config("spark.master", "local")
  .getOrCreate()

val jdbcUrl = "jdbc:mysql://localhost:3306/mydatabase"
val jdbcUsername = "username"
val jdbcPassword = "password"

val table = "my_table"
val condition = "id > 100"

val deleteQuery = s"DELETE FROM $table WHERE $condition"

val connectionProperties = new java.util.Properties()
connectionProperties.put("user", jdbcUsername)
connectionProperties.put("password", jdbcPassword)

val df = spark.read.jdbc(jdbcUrl, table, connectionProperties)

df.write.mode(SaveMode.Append).jdbc(jdbcUrl, table, connectionProperties)

前述のコードでは、deleteQueryは実行するDELETE文であり、connectionPropertiesにはJDBC接続に必要なユーザー名とパスワードが含まれています。その後、DataFrameWriterのjdbcメソッドを使用してDELETE文をJDBCに送信し、データを削除することができます。

bannerAds