CentOS7でHadoopクラスタを構築する方法は何ですか？

2年 ago
光, 明
2 minutes

Hadoopクラスタを構築するには、以下のステップが必要です。

  1. Javaをインストールしてください：すべてのノードにJavaをインストールし、正しいJAVA_HOME環境変数を設定してください。
  2. Apache公式サイトからHadoopのバイナリーパッケージをダウンロードし、すべてのノードの同じディレクトリに解凍してください。
  3. Hadoopの設定：Hadoopのインストールディレクトリに移動し、etc/hadoop/core-site.xmlファイルを編集して、以下の設定を追加してください。
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode_hostname:9000</value>  <!-- namenode_hostname为主节点的主机名 -->
    </property>
</configuration>

その後、etc/hadoop/hdfs-site.xmlファイルを編集し、以下の設定を追加してください。

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>  <!-- 设置副本数量 -->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/data/hadoop/dfs/name</value>  <!-- 设置主节点的数据存储路径 -->
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/hadoop/dfs/data</value>  <!-- 设置从节点的数据存储路径 -->
    </property>
</configuration>

etc/hadoop/mapred-site.xml.templateファイルを編集し、以下の設定を追加して、etc/hadoop/mapred-site.xmlとして保存してください。

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  1. etc/hadoop/slavesファイルには、各行に一つずつ、スレーブノードのホスト名またはIPアドレスを記入してください。
  2. SSHのパスワードなしでのログインを設定する方法：マスターノードでSSHキーペアを生成し、公開鍵をすべてのノードに配布するには、ssh-keygenおよびssh-copy-idコマンドを使用します。
  3. Hadoopクラスターを起動するには、マスターノードで次のコマンドを実行してください。
sbin/start-dfs.sh
sbin/start-yarn.sh
  1. http://namenode_hostname:50070　にアクセスしてください。
  2. http://namenode_hostname:8088 を使ってください。

これは基本的なHadoopクラスターのセットアッププロセスです。特定の構成や調整は必要に応じて変更できます。

bannerAds