Linux Hadoop インストール

2年 ago
桜, 春樹
1 minute

Linux上にHadoopをインストールするには、以下の手順に従う必要があります。

  1. Hadoopのソフトウェアパッケージをダウンロードします。
  1. 最新バージョンのHadoopのダウンロードは、Apache Hadoop公式サイト（https://hadoop.apache.org/）から行なってください。
  2. または、端末から以下のコマンドを使用してHadoopソフトウェアパッケージをダウンロードします。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  1. Hadoopパッケージの展開：
tar -xzvf hadoop-3.3.1.tar.gz
  1. Hadoop 環境変数を設定
  1. ~/.bashrcファイルを編集する：
vim ~/.bashrc
  1. 以下も追加してください。
# Hadoop Configuration
export HADOOP_HOME=/path/to/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
  1. ファイルを保存して終了する
  2. 環境変数を有効にするために、以下のコマンドを実行します:
source ~/.bashrc
  1. Hadoopをデプロイします。
  1. Hadoop の設定ディレクトリへ移動:
cd /path/to/hadoop-3.3.1/etc/hadoop
  1. hadoop-env.shファイルを編集してJavaのパスを変更する。
vim hadoop-env.sh

以下の行を正しいJavaパスに修正する:

export JAVA_HOME=/path/to/java
  1. ファイルを保存して終了する。
  1. Hadoopクラスタをデプロイします。
  1. core-site.xml ファイルを編集して、以下の設定を追加する。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
  1. hdfs-site.xml ファイルを編集し、以下の構成を追加してください。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
  1. Hadoopのファイルシステムをフォーマットする
hdfs namenode -format
  1. Hadoopクラスタを起動する：
start-dfs.sh

Hadoop を Linux に正常にインストールして起動しました。Hadoop クラスターの Web インターフェイスにアクセスするには、http://localhost:9870 にアクセスしてください。

bannerAds