Flinkで複数のフィールドをソートする方法は何ですか？

2年 ago
綾乃, 一希
2 minutes

Flinkには、複数のフィールドでのソートを行うためのさまざまな方法が提供されています。以下は一般的に使用される方法のいくつかです：

  1. org.apache.flink.api.common.functions.MapFunction の選択肢
  2. org.apache.flink.api.java.tuple.Tuple を日本語で言い換えると、「org.apache.flink.api.java.tuple.Tuple」となります。
  3. オプション：org.apache.flink.api.java.functions.KeySelector

コード例：

DataStream<Tuple2<String, Integer>> dataStream = ...;

DataStream<Tuple2<String, Integer>> sortedStream = dataStream
    .map(new MapFunction<Tuple2<String, Integer>, Tuple2<String, Integer>>() {
        @Override
        public Tuple2<String, Integer> map(Tuple2<String, Integer> value) throws Exception {
            return value;
        }
    })
    .keyBy(new KeySelector<Tuple2<String, Integer>, String>() {
        @Override
        public String getKey(Tuple2<String, Integer> value) throws Exception {
            return value.f0;
        }
    })
    .flatMap(new OrderByFieldsFunction());

public class OrderByFieldsFunction extends RichFlatMapFunction<Tuple2<String, Integer>, Tuple2<String, Integer>> {
    private SortedMap<Tuple2<String, Integer>> sortedData;

    @Override
    public void open(Configuration parameters) throws Exception {
        sortedData = new TreeMap<>();
    }

    @Override
    public void flatMap(Tuple2<String, Integer> value, Collector<Tuple2<String, Integer>> out) throws Exception {
        sortedData.put(value);
        for (Tuple2<String, Integer> entry : sortedData.entrySet()) {
            out.collect(entry);
        }
    }
}
  1. org.apache.flink.streaming.api.functions.ProcessFunction をネイティブで日本語に置き換えると「org.apache.flink.streaming.api.functions.ProcessFunction」です。
  2. Javaのjava.util.PriorityQueue
  3. タイマーが終了した時

サンプルコード：

DataStream<Tuple2<String, Integer>> dataStream = ...;

DataStream<Tuple2<String, Integer>> sortedStream = dataStream
    .process(new SortByFieldsProcessFunction());

public class SortByFieldsProcessFunction extends ProcessFunction<Tuple2<String, Integer>, Tuple2<String, Integer>> {
    private PriorityQueue<Tuple2<String, Integer>> queue;

    @Override
    public void open(Configuration parameters) throws Exception {
        queue = new PriorityQueue<>(new Comparator<Tuple2<String, Integer>>() {
            @Override
            public int compare(Tuple2<String, Integer> o1, Tuple2<String, Integer> o2) {
                // 自定义比较规则
                if (o1.f0.equals(o2.f0)) {
                    return o1.f1.compareTo(o2.f1);
                } else {
                    return o1.f0.compareTo(o2.f0);
                }
            }
        });
    }

    @Override
    public void processElement(Tuple2<String, Integer> value, Context ctx, Collector<Tuple2<String, Integer>> out) throws Exception {
        // 将数据存入优先队列
        queue.offer(value);
        // 在触发器中进行排序和输出
        ctx.timerService().registerProcessingTimeTimer(1000);
    }

    @Override
    public void onTimer(long timestamp, OnTimerContext ctx, Collector<Tuple2<String, Integer>> out) throws Exception {
        while (!queue.isEmpty()) {
            out.collect(queue.poll());
        }
    }
}

必要に応じて拡張やカスタマイズが可能な方法であり、さまざまな並べ替えニーズに対応できます。

bannerAds