Hadoopクラスタ構築（4ノード）

2年 ago
芽依, 雨夜
1 minute

Hadoopクラスタの構築には、以下の手順が必要です。

  1. Javaのインストール：全てのノードにJavaがインストールされていること、およびJAVA_HOME環境変数が設定されていることを確認します。
  2. SSHパスワードレスログインを設定: マスターノード上でSSHキーペアを生成し、パブリックキーをすべてのノードへ配布することでノード間でのパスワードレスログインを実現します。
  3. Hadoopのダウンロード: HadoopオフィシャルサイトからHadoopの最新版をダウンロードし、指定のディレクトリに解凍する。
  4. Masterノードにて/etc/profile ファイルを編集し、以下の環境変数を設定します。
  1. HADOOP_HOME：Hadoopインストールディレクトリのパス
  2. HADOOP_CONF_DIR：Hadoop の設定ファイルディレクトリのパス
  3. PATH：PATH変数に$HADOOP_HOME/binと$HADOOP_HOME/sbinを追加する

その後sourceコマンドで/etc/profileを実行し、環境変数を有効にする。

  1. Hadoopクラスターの設定：マスタノード上でHadoopの設定ファイル（主にcore-site.xml、hdfs-site.xml、mapred-site.xml）を編集します。
  1. core-site.xml: Hadoopのコアとなる設定、例えばファイルシステムの種類やネームノードのアドレスなどが記載されている。
  2. hdfs-site.xml：Hadoop 分散ファイル システム（HDFS）のパラメータを設定（データブロックサイズやレプリケーション数など）。
  3. mapred-site.xml：タスクスケジューラの種類などのHadoop MapReduceフレームワークのパラメータを設定します。

設定ファイルのパスは $HADOOP_CONF_DIR です。

  1. マスターノードの設定：マスターノード上で masters ファイルを編集し、マスターノードのホスト名をファイルに追加する。
  2. スレーブノードの設定：スレーブノード上でslavesファイル編集を行い、全スレーブノードのホスト名をファイルに追加。
  3. プロファイルの配布: 主ノード上で以下のコマンドを実行して、すべてのノードにプロファイルを配布します。
$HADOOP_HOME/bin/hadoop namenode -format
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh
  1. クラスタの起動: メインノードで次のコマンドを実行してHadoopクラスタを起動します:
$HADOOP_HOME/sbin/start-dfs.sh
$HADOOP_HOME/sbin/start-yarn.sh

jpsコマンドでクラスタの動作状況を確認できます。

  1. Hadoopクラスターが動作していることを検証：メインノードで以下のコマンドを実行
$HADOOP_HOME/bin/hadoop fs -mkdir /test
$HADOOP_HOME/bin/hadoop fs -put $HADOOP_HOME/LICENSE.txt /test
$HADOOP_HOME/bin/hadoop fs -ls /test

上記のすべてのコマンドが正常に実行でき、出力が正しい場合は、Hadoopクラスタの構築が成功しています。

以上はHadoopクラスタを構築するための簡易な手順ですが、実際のステップや構成は環境によって異なる可能性があります。クラスタの構築を確実に成功させるために、Hadoop公式ドキュメントを参照するか、関連するチュートリアルに従って操作することをお勧めします。

bannerAds