Mac Hadoop安装

2年 ago
陽, 向宇
2 minutes

HadoopをMacにインストールするには、以下の手順に従ってください。

  1. Javaのインストール：まず、Java Development Kit（JDK）をインストールする必要があります。Javaが既にインストールされているかどうか確認するには、ターミナルで次のコマンドを実行できます：java -version。Javaがインストールされていれば、Javaのバージョン情報が表示されます。そうでない場合は、JDKをインストールする必要があります。Oracleの公式サイトから、Mac用のJDKをダウンロードしてインストールできます。
  2. Hadoopのダウンロード：最新バージョンのHadoopをApache Hadoop公式サイトでダウンロードします。適したバイナリバージョンを選択してローカルにダウンロードします。
  3. Hadoopの解凍：ダウンロードしたHadoopのバイナリファイルを任意のディレクトリに解凍します。ターミナルで以下のコマンドを使用して、ファイルを/usr/localディレクトリに解凍できます。
tar -xzvf hadoop-X.X.X.tar.gz -C /usr/local

ハドープのバージョン番号を表す X.X.X という名前のディレクトリが作成されます。

  1. ~/.bash_profile
vi ~/.bash_profile

当該行をファイルに追加し、保存します。

export HADOOP_HOME=/usr/local/hadoop-X.X.X
export PATH=$PATH:$HADOOP_HOME/bin

あなたの Hadoop バージョんとインストールパスに基づいて、上述のコマンドの X.X.X を実際のバージョン番号に置き換えてください。

  1. ~/.bash_profile
source ~/.bash_profile
  1. $HADOOP_HOME/etc/hadoop
  2. hadoop-env.sh
  3. JAVA_HOME
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_241.jdk/Contents/Home

Javaインストールパスに上記のパスを必ず置き換えてください。

  1. core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

上記の例ではHadoopファイルシステムのデフォルトURIは「hdfs://localhost:9000」となっています。必要に応じて変更できます。

  1. hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-X.X.X/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-X.X.X/tmp/dfs/data</value>
</property>
</configuration>

上記の例では、dfs.replicationは1に設定され、dfs.namenode.name.dirとdfs.datanode.data.dirは指定されたディレクトリに設定されています。必要に応じて変更してください。

  1. Hadoopの起動：端末で以下のコマンドを実行してHadoopを起動します。
start-dfs.sh

これによりApache Hadoop分散ファイルシステム（HDFS）を開始します。

上記の手順が完了したら、Mac上でHadoopのインストールが成功しているはずです。以下のようなサンプルコマンドを実行することで、インストールが成功したかどうかを確認できます。

hadoop version
hdfs dfs -ls /

これらコマンドは、Hadoopのバージョンのインフォメーションとルートディレクト内のファイルリストをそれぞれ表示します。

bannerAds