Hadoopの疑似分散環境をどう構築するのか？

1年 ago
蓮, 翼
2 minutes

Hadoopの疑似分散クラスタを構築するには、次の手順に従って操作する必要があります。

  1. Javaのインストール：お使いのコンピューターにJavaがインストールされ、JAVA_HOME環境変数が設定されていることを確認してください。
  2. ハドゥープのダウンロード：公式ウェブサイト（https://hadoop.apache.org/releases.html）から最新バージョンのハドゥープをダウンロードし、インストールしたい場所に展開してください。
  3. Hadoopをセットアップする：Hadoopのインストールディレクトリに入り、etc/hadoopディレクトリを見つけて、hadoop-env.shファイルを編集し、JAVA_HOME環境変数をあなたのJavaのインストールパスに設定してください。
  4. Hadoopのコアファイルを配置する：etc/hadoop/core-site.xmlファイルを編集し、以下の属性を設定する。
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>
  1. その他/hadoop/hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/path/to/hadoop_data/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/path/to/hadoop_data/hdfs/datanode</value>
    </property>
</configuration>

“/path/to/hadoop_data”を、Hadoopデータを保存したいディレクトリに置き換えることを確認してください。

  1. その他/hadoop/yarn-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
  1. その他の/hadoop/mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  1. HDFSをフォーマットする：以下のコマンドを端末で実行して、HDFSファイルシステムをフォーマットします。
$ bin/hdfs namenode -format
  1. Hadoopクラスターを起動するには、以下のコマンドを端末で実行してください。
$ sbin/start-dfs.sh
$ sbin/start-yarn.sh
  1. http://localhost:50070 を入力してください。

現在、Hadoopの疑似分散クラスタを構築することに成功しました！データ処理や分析を行うために、Hadoopのコマンドラインツールを使用したりMapReduceプログラムを書いたりすることができます。

bannerAds