HadoopのCPUコア数を設定する
Hadoopの構成ファイルでは、次の構成パラメータで使用するCPU数を指定できます。
- yarn-site.xml ファイル
- yarn.nodemanager.resource.cpu-vcores:利用できる仮想CPUコア数をノードマネージャーごとで指定します。
- mapred-site.xml ファイル
- mapreduce.map.cpu.vcores:各マップタスクで使用する仮想 CPU コア数を指定します。
- MapReduce.reduce.cpu.vcores:各 Reduce タスクが使用する仮想 CPU コア数を指定します。
- 指定した仮想CPUコア数を使用するYARNアプリケーションマネージャ(ApplicationMaster)
具体的なニーズとハードウェア環境に応じて構成を行い、コンピューティングリソースの適切な利用とタスク要件の満たしを確保する必要があります。