Hadoopクラスタの設定ファイルを編集する方法を教えてください。
Hadoopクラスタ設定ファイルを修正するには、以下の手順に従います。
- Hadoopインストールディレクトリを開いて、confフォルダを探します。
- confフォルダ内には、core-site.xmlやhdfs-site.xml、mapred-site.xml、yarn-site.xmlなど、コアとなる設定ファイルが確認できます。
- 変更したい設定ファイルを、任意のテキストエディタで開きます。
以下は一般的な設定ファイルとその機能です。
- core-site.xml:Hadoopのコア設定ファイルで、Hadoopクラスタ名、HadoopファイルシステムURIなどの一般的な設定パラメータを含んでいます。
- HDFSの構成ファイルのhdfs-site.xmlには、データブロックのサイズやレプリカの数などのHDFS関連の設定パラメータが含まれています。
- MapReduceフレームワークの設定ファイル。MapReduceに関連する設定パラメータ(タスクスケジューラ、タスクアロケータなど)が含まれます。
- yarn-site.xml:YARN(Yet Another Resource Negotiator)設定ファイル。YARN関連設定パラメータ(リソースマネージャ、ノードマネージャ等)が含まれます。
- 設定ファイルから修正したいパラメータを探し、必要に応じて修正を行って下さい。ただし、注釈付きのパラメータもありますので、有効にする場合は注釈を解除する必要があります。
- 保存修改后的配置文件。
- マスターノード側の設定ファイルを変更した場合は、変更後の設定ファイルを他のスレーブノードの対応するディレクトリにコピーして、クラスタ内の全ノードの設定を一致させる必要があります。
- Hadoopクラスタを再起動して、設定ファイルの変更を有効にします。
Hadoopクラスタの設定に一定の理解があり、誤った設定によるクラスタの停止を防ぐために、構成ファイルを変更する前に元の構成ファイルをバックアップして下さい。