flinkは、HDFSからのデータをオフラインで処理する方法は？

2年 ago
桜, 春樹
1 minute

Flinkでオフライン処理を行い、HDFSデータを読み取るには、以下の手順に従うことができます。

  1. まず、Flinkアプリケーションに必要な依存関係が含まれていることを確認してください。以下の依存関係をpom.xmlファイルに追加することで、HadoopとHDFSの関連ライブラリを導入できます。
<dependencies>
  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-java</artifactId>
    <version>${flink.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-java_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_${scala.binary.version}</artifactId>
    <version>${flink.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop.version}</version>
  </dependency>
</dependencies>

Flinkのバージョンには${flink.version}を、Scalaのバージョンには${scala.binary.version}を使用してください。

  1. StreamExecutionEnvironment
    -> ストリーム処理環境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
  1. .readTextFile()を使います。
  2. データストリーム
DataStream<String> dataStream = env.readTextFile("hdfs://path/to/file");

HDFSファイルのパスを読み込みたいファイルのパスに置き換えてください。

  1. 出力する
dataStream.print();
  1. 実行する
env.execute("Read HDFS Data");

上記の手順を完了すると、あなたのFlinkアプリケーションはHDFSからデータを読み取り、オフライン処理を行うことができるようになります。必要に応じて、さらなるデータ処理や変換操作を行うことができます。

bannerAds