Hadoopでログの集約を有効にする

Hadoopのログアグリゲーション機能を使用するには、次の手順を実行する必要があります。

Hadoopクラスタのhdfs-site.xml設定ファイルに、以下のプロパティを追加します。

<property>

<name>dfs.namenode.log.aggregation.enable</name>

<value>true</value>

</property>

Hadoopクラスタのyarn-site.xml設定ファイルに以下のプロパティを追加してください。

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

HDFS・YARNサービスを再起動して、設定変更を適用します。

各アプリケーションが実行時に適切なユーザーログの集約ポリシーを指定するようにします。集約ポリシーは、アプリケーションのmapred-site.xmlまたはyarn-site.xml構成ファイル内に次のいずれかのプロパティを設定することで指定できます。

yarn.app.mapreduce.am.log.aggregate.enable : MapReduce アプリケーション のログの集約を有効にします。

yarn.app.mapreduce.am.log-aggregation.retain-seconds: 集約したログの保持時間（秒）を設定します。

ログの集約を手動でトリガーするには、次のコマンドを使用することもできます。

yarn logs -applicationId <application_id>

を具体的なアプリの ID に置き換えます。

以上の通り操作することで、Hadoop のログアグリゲーション機能をオンにし、クラスタ内のアプリケーションのログを集約・管理することができます。