春のマルチスレッドで百万個のデータを読み込む方法は何ですか？

2年 ago
光, 明
1 minute

百万のデータをマルチスレッドで読み込むには、以下の手順に従うことができます。

  1. データを分割する：100万のデータを複数のサブセットに分割し、それぞれのサブセットに一部のデータを含める。
  2. ExecutorServiceクラスを使用してスレッドプールを作成します。スレッドプール内のスレッド数は必要に応じて調整できます。
  3. タスクを作成する：子データセットを読み取るためのRunnableまたはCallableタスクを作成します。
  4. タスクの提出：タスクをスレッドプールに提出し、スレッドプールは利用可能なスレッドに基づいてタスクを実行します。
  5. 処理結果：タスクの結果を処理する必要がある場合は、Futureオブジェクトを使用してタスクの実行結果を取得できます。

以下はサンプルコードです。

import java.util.ArrayList;
import java.util.List;
import java.util.concurrent.*;

public class MultiThreadReadData {
    public static void main(String[] args) {
        int totalDataSize = 1000000; // 百万数据总量
        int batchSize = 1000; // 每个子集的大小
        int numThreads = 10; // 线程数量

        // 划分数据
        List<List<Integer>> dataSubsets = new ArrayList<>();
        for (int i = 0; i < totalDataSize; i += batchSize) {
            int endIndex = Math.min(i + batchSize, totalDataSize);
            List<Integer> subset = new ArrayList<>();
            for (int j = i; j < endIndex; j++) {
                subset.add(j);
            }
            dataSubsets.add(subset);
        }

        // 创建线程池
        ExecutorService executorService = Executors.newFixedThreadPool(numThreads);

        List<Future<List<Integer>>> futures = new ArrayList<>();
        for (List<Integer> subset : dataSubsets) {
            Callable<List<Integer>> task = () -> {
                List<Integer> result = new ArrayList<>();
                // TODO: 读取数据逻辑
                for (Integer data : subset) {
                    result.add(data);
                }
                return result;
            };
            futures.add(executorService.submit(task));
        }

        // 处理结果
        for (Future<List<Integer>> future : futures) {
            try {
                List<Integer> result = future.get();
                // TODO: 处理结果逻辑
                System.out.println(result);
            } catch (InterruptedException | ExecutionException e) {
                e.printStackTrace();
            }
        }

        // 关闭线程池
        executorService.shutdown();
    }
}

注意、上記のコードは例示です。具体的な実装方法は実際の状況に応じて調整や最適化を行ってください。

bannerAds