Hadoop3はデータノードを追加しました。
Hadoop 3に新しいDataNodeを追加する手順は次のとおりです。
- Hadoop 3をデータノードを追加するマシンにインストールし、既存のHadoopクラスターと同じHadoopバージョンと構成になっていることを確認します。
- 新しいマシンにJava環境を設定し、クラスタ内の他のノードと同じJavaバージョンを使用していることを確認する。
- 新しく追加されたマシンが既存のHadoopクラスタ内のマスターノードや他のデータノードと通信できるようにします。マスターノードと他のデータノードのIPアドレスとホスト名のマッピングを新ノードの /etc/hosts ファイルに編集して追加することで実現できます。
- Hadoopのインストール方法によっては、hadoop-env.shファイルでJAVA_HOME変数を設定する必要があります。その場合は、新しいマシン上でhadoop-env.shファイルを編集し、正しいJava環境変数を設定する必要があります。
- 新しいマシンのcore-site.xmlファイルを編集して、他方のノードで構成されているクラスターと同じ構成を追加します。新しいノードが、クラスターに属するマスターノードおよび他のノードと通信できるように確認します。例えば、クラスターに属するマスターノードやデータノードのfs.defaultFSとhadoop.tmp.dirの構成を、新しいマシンのcore-site.xmlに追加します。
- 新規マシン上のhdfs-site.xmlファイルを編集し、既存のクラスタ内の他のノードと同じデータ ディレクトリ設定を使用するように新規ノードを設定します。既存のクラスタ内の他のデータノードのdfs.datanode.data.dir設定を新規ノードのhdfs-site.xmlファイルに追加するか、必要に応じてデータディレクトリのパスを変更できます。
- 新しいデータディレクトリを作成して新しいノードで使用します。新しいディレクトリ所有者とアクセス権限を、既存クラスター内の他のデータノードのデータディレクトリと同じになるように確認します。
- 新しいノードのHadoopサービスを起動する。新しいノードのHDFSサービスはstart-dfs.shスクリプトを使用して起動できます。
- HDFS dfsadmin -reportコマンドを利用してクラスタの状態を確認し、新しいノードが報告書にアクティブとして表示されている事を確認して、新しいノードがクラスタへの参加に成功したかどうかを確認します。
上記のステップを完了すると、新しいデータノードは Hadoop 3 クラスターに正常に追加され、データの保存や処理の参加を開始します。
