CentOS7 に Hadoop をインストールの方法

1年 ago

優斗, 朝陽

1 minute

CentOS 7にHadoopをインストールするには、次の手順を実行します。

Java Development Kit（JDK）をインストールします。
OpenJDK 8をインストールするには、端末で以下のコマンドを実行します: sudo yum install java-1.8.0-openjdk-devel
Hadoopユーザの作成：
hadoopという名前の新しいユーザーを作成するには次のコマンドを実行してください。sudo adduser hadoop
hadoopユーザーのパスワードを設定する：sudo passwd hadoop
Hadoopのダウンロードと解凍:
/opt ディレクトリ以下に新しいディレクトリを作成：sudo mkdir /opt/hadoop
そのディレクトリへ移動する：cd /opt/hadoop
Hadoopの圧縮ファイルをダウンロードします: sudo wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tarコマンドを使用して圧縮ファイルを展開：sudo tar -xzvf hadoop-3.3.1.tar.gz
解凍したフォルダー名を「hadoop」に変更する：sudo mv hadoop-3.3.1 hadoop
環境変数の設定
/etc/profile ファイルを編集：sudo vi /etc/profile
ファイルの一番最後に下記の行を追加して下さい：
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
ファイルを保存して閉じる。
プロファイルの更新: ソース /etc/profile
Hadoopの配置：
Hadoopの設定ディレクトリへ移動：cd /opt/hadoop/hadoop/etc/hadoop
hadoop-env.shファイルを編集する：sudo vi hadoop-env.sh
JAVA_HOME変数をJavaのインストールパスに設定する: export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
ファイルを保存し閉じる
Hadoop のコアーファイルを配置する
core-site.xmlファイルを編集します：sudo vi core-site.xml
次の設定を加えてみてください:
fs.defaultFS
hdfs://localhost:9000
ファイルを保存して閉じます。
HadoopのHDFSファイルシステムを配置する：
hdfs-site.xmlファイルを編集する：sudo vi hdfs-site.xml
以下の設定を構成に追加します。
dfs.replication
1
ファイルを保存して終了する。
HadoopのYARNリソースマネージャーをデプロイする：
yarn-site.xmlを編集する： sudo vim yarn-site.xml
を追加します。
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
ファイルを保存して閉じる
HadoopのMapReduceフレームワークを配置する。
mapred-site.xmlファイルを編集する：sudo vi mapred-site.xml
以下の設定を追加します。
mapreduce.framework.name
yarn
ファイルを保存して閉じる。
Hadoopデータディレクトリのパーミッションの設定:
Hadoopのディレクトリを作成：sudo mkdir -p /opt/hadoop/data/hdfs/namenode
sudo mkdir -p /opt/hadoop/data/hdfs/datanode
データディレクトリのパーミッションの修正: sudo chown -R hadoop:hadoop /opt/h

#インストール #プログラミング