Hadoop distcp で必要なポート

Hadoopのdistcpツールは特別なポートを開ける必要はありません。ただし、ソースクラスタとターゲットクラスタのHDFSサービスへのアクセスは必要です。HDFSが使用しているポートは、デフォルトで次のとおりです。

1. NameNodeのIPCポート：デフォルトは8020
2. ネイムノードのHTTPポート: デフォルト50070
3. DataNodeのIPCポート: デフォルトは50010
4. DataNodeのHTTPポートは50075です( デフォルト )

ソース・ターゲットクラスターのHDFSサービスでデフォルト以外のポートが使用されている場合、distcpツールはそれに合わせて設定する必要があります。distcpコマンドで-Dパラメーターを使用することで、異なるポートを指定できます。たとえば、-Dfs.defaultFS=hdfs://namenode1:9000は、デフォルトのNameNodeポートを9000に変更します。

注意：これらのポートはHadoopのデフォルト設定に基づいており、実際のポートはカスタマイズされたHadoop設定によって異なる場合があります。したがって、ポートは特定の環境と設定に基づいて設定してください。