仮想マシンで Hadoop を起動する方法

Hadoopを仮想マシンで起動するには、次の手順に従います。

  1. まず、Hadoopが仮想マシンに正しくインストールおよび設定されていることを確認してください。Hadoopのバイナリパッケージをダウンロードし、公式ドキュメントに従ってインストールと設定を行うことができます。
  2. 仮想マシンを起動して、オペレーティングシステムにログインします
  3. ターミナルあるいはコマンドラインインタフェースを開き、Hadoopがインストールされているディレクトリに移動
  4. 次のコマンドを実行して、Hadoopクラスタの各コンポーネントを起動します
$ start-dfs.sh  # 启动Hadoop分布式文件系统(HDFS)
$ start-yarn.sh  # 启动Hadoop资源管理器(YARN)
$ mr-jobhistory-daemon.sh start historyserver  # 启动历史服务器

これらのコマンドにより、Hadoopクラスタのコアコンポーネントが起動します。

  1. Hadoopクラスタの状態を確認するには、以下のコマンドを実行します。
$ jps

これは現在動作しているJavaプロセスを列挙して、Hadoopクラスタのコンポーネントをいくつか参照できるようにする。

  1. HadoopのコマンドラインツールまたはWebインターフェイスを使用して、Hadoopクラスタを管理し操作できます。たとえば、Hadoopのファイルシステムを確認するためのコマンドは次のとおりです。
$ hdfs dfs -ls /

あるいは、HadoopのWebインターフェイスにWebブラウザからアクセスできます。ここにはHDFSの管理インターフェイス(通常はhttp://localhost:50070)とYARNの管理インターフェイス(通常はhttp://localhost:8088)があります。

標準的なHadoopのインストールと設定でのみ上記のステップは適用されますのでご注意ください。他のHadoopディストリビューションまたはカスタムの設定を使用している場合は、関連するドキュメントを参照してください。

bannerAds