HadoopのCPUコア数を設定する

Hadoopの構成ファイルでは、次の構成パラメータで使用するCPU数を指定できます。

  1. yarn-site.xml ファイル
  1. yarn.nodemanager.resource.cpu-vcores:利用できる仮想CPUコア数をノードマネージャーごとで指定します。
  1. mapred-site.xml ファイル
  1. mapreduce.map.cpu.vcores:各マップタスクで使用する仮想 CPU コア数を指定します。
  2. MapReduce.reduce.cpu.vcores:各 Reduce タスクが使用する仮想 CPU コア数を指定します。
  1. 指定した仮想CPUコア数を使用するYARNアプリケーションマネージャ(ApplicationMaster)

具体的なニーズとハードウェア環境に応じて構成を行い、コンピューティングリソースの適切な利用とタスク要件の満たしを確保する必要があります。

bannerAds