HadoopクラスターをLinuxにインストールする方法

1年 ago
夏樹, 風
1 minute

HadoopクラスタをLinuxにインストールするには、次の手順を実行できます。

  1. まず、Java JDKがインストールされていることを確認します。Hadoop は Java 環境に依存するため、最初に Java JDK をインストールする必要があります。次のコマンドを実行して Java がインストールされていることを確認できます。
java -version

Javaがインストールされていない場合は、各自のLinuxディストリビューション用のパッケージマネージャからJava JDKのインストールが行えます。

  1. Hadoopをダウンロードする。Hadoopの公式Webサイト（https://hadoop.apache.org/releases.html）からHadoopの最新バージョンをダウンロードできます。Linuxディストリビューションとハードウェアアーキテクチャと互換性のあるバイナリファイルを選択してください。
  2. Hadoopの解凍。ダウンロードしたHadoopバイナリを任意のディレクトリに解凍します。次のコマンドを使用できます。
tar -xzvf hadoop-x.x.x.tar.gz
  1. ~/.bashrc
  2. ~/.bash_profile
export HADOOP_HOME=/path/to/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

Hadoopのtarファイルを解凍するディレクトリとして/path/to/hadoopを置換します。

  1. など、Hadoop
  1. hadoop-env.sh: JAVA_HOME変数を設定する、Java JDKのインストールディレクトリを指す。
  2. core-site.xml：Hadoop のコア機能の設定（ファイルシステムやデフォルトポートなど）を格納しています。
  3. hdfs-site.xml: Hadoop分散ファイルシステム（HDFS）の設定
  4. mapred-site.xml：配置Hadoop MapReduce框架的设置。
  5. yarn-site.xml：Hadoop リソースマネージャ（YARN）の設定を構成します。

お客様のご要望に応じてコンフィギュレーションします。

  1. Hadoopクラスタの設定。Hadoopクラスタを設定するには、各ノードで同一の設定を行う必要があります。設定にはノードのIPアドレス、ポート、役割が含まれます。この情報はetc/hadoopディレクトリのmastersファイルとslavesファイルに記載する必要があります。
  2. hadoopクラスターを立ち上げます。ネームノードのノードで以下のコマンドを実行してHadoopクラスターを立ち上げます:
start-dfs.sh

ResourceManagerノード上で 次のコマンドを実行してYARNを起動します：

start-yarn.sh

実行後、ブラウザからHadoopのWeb画面にアクセスして、クラスタが正常に動作していることを確認できます。デフォルトでは、NameNodeのWeb画面はhttp://localhost:50070、ResourceManagerのWeb画面はhttp://localhost:8088にあります。

基本的な手順ですが、必要に応じて環境に合わせてさらに設定やカスタマイズできます。

bannerAds