flinksqlを使ってkafkaデータを読み込む方法は何ですか？

2年 ago
優斗, 朝陽
1 minute

Flink SQLを使用してKafkaデータを読み込むには、次の手順に従う必要があります。

  1. Flinkプロジェクトのpom.xmlファイルにKafkaの依存関係を追加してください。
<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka_2.12</artifactId>
    <version>${flink.version}</version>
</dependency>

${flink.version}がFlinkのバージョン番号であることを確認してください。

  1. Flink SQLの実行環境を作成してください。
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tEnv = StreamTableEnvironment.create(env);
  1. Flink SQLでKafkaテーブルを登録します。
String createTableSql = "CREATE TABLE kafka_table (\n" +
        "  key STRING,\n" +
        "  value STRING\n" +
        ") WITH (\n" +
        "  'connector' = 'kafka',\n" +
        "  'topic' = 'your_topic',\n" +
        "  'properties.bootstrap.servers' = 'your_bootstrap_servers',\n" +
        "  'properties.group.id' = 'your_group_id',\n" +
        "  'format' = 'json',\n" +
        "  'scan.startup.mode' = 'earliest-offset'\n" +
        ")";
tEnv.executeSql(createTableSql);

上記のコードでは、’topic’と’properties.bootstrap.servers’は、あなたのKafkaトピックとブートストラップサーバーのアドレスに置き換える必要があります。 ‘properties.group.id’は、Flinkコンシューマーグループの唯一の識別子です。

その他に、’format’パラメータはデータ形式を指定し、適切な値に設定できます。

  1. Flink SQLクエリを実行します。
String querySql = "SELECT * FROM kafka_table";
Table result = tEnv.sqlQuery(querySql);
  1. データストリームにクエリ結果を変換する。
DataStream<Row> resultStream = tEnv.toAppendStream(result, Row.class);

今、resultStreamをさらに処理して、印刷したり他のシステムに書き込んだりすることができます。

最後に、Flinkのジョブを起動するためにenv.execute()を呼び出すことを忘れないでください。

bannerAds