Apache HadoopのHAを開始する

1年 ago
綾乃, 一希
2 minutes

Apache Hadoopで高可用性（HA）を有効にするには、次の手順を実行する必要があります。

  1. ZooKeeperのインストールと設定:HAは、ZooKeeperに依存して調整とリーダーの選出を行っています。まず、ZooKeeperクラスタをインストールして設定する必要があります。ZooKeeperクラスタが正常に実行されており、利用可能であることを確認します。
  2. 配置 HDFS：hdfs-site.xml に以下のプロパティを設定して、HA を有効にします。
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>namenode1,namenode2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.namenode1</name>
<value>namenode1:8020</value>
</property>
<property>
<name>dfs.namenode.rpc-address.mycluster.namenode2</name>
<value>namenode2:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.namenode1</name>
<value>namenode1:50070</value>
</property>
<property>
<name>dfs.namenode.http-address.mycluster.namenode2</name>
<value>namenode2:50070</value>
</property>

请确保将namenode1和namenode2替换为实际的主机名或IP地址。

  1. HDFSフェイルオーバーの設定: hdfs-site.xml ファイルで、以下のプロパティを設定してフェイルオーバーを構成します。
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
  1. 自動フェイルオーバーコントローラの設定: hdfs-site. xml ファイルで、自動フェイルオーバーコントローラを設定する次のプロパティを設定する(いずれかのノードで実行):
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.ha.automatic-failover.zkfc.port</name>
<value>8019</value>
</property>
  1. 启动NameNode：在两个NameNode节点上启动NameNode进程。
  2. 自動フェイルオーバーコントローラを起動: NameNodeノードのうちの1つで、自動フェイルオーバーコントローラプロセスを開始します。

HDFS WebUIはhttp://namenode1:50070とhttp://namenode2:50070でアクセスでき、HDFSファイルシステムはhdfs://mycluster/からアクセスできます。そして、Apache Hadoopの高可用性は正常に有効化されました。

bannerAds