リナックス、Xshell、JDK、Hadoopの環境を構築する仮想マシンのインストール
Linux 仮想マシンで Xshell、JDK、Hadoop 環境を構築するには、次の手順に従います。
- OSに応じたバージョンをダウンロードしてインストールします。VirtualBoxやVMware Workstationなどの仮想マシンソフトウェアをダウンロードしてインストールします。
- 仮想化ソフトウェアを開き、「仮想マシンを作成」ボタンをクリックし、ウィザードに従って設定を行います。設定中にOSの種類とバージョンを選択する必要があり、Ubuntuなどの適切なLinuxのバージョンを選択できます。
- 新しく作成した仮想マシンを選択して「起動」ボタンをクリックし、画面の指示に従ってLinux OSをインストールします。ISOファイルを使用するか、ネットワーク経由でインストールすることができます。
- Xシェルのインストール:Linux仮想マシンを開き、インターネットに接続して、端末で次のコマンドを実行してXシェルをインストールします。
sudo apt-get update
sudo apt-get install xshell
インストール後、xshell コマンドを実行することで Xshell を起動できます。
- JDKのインストール:Oracleの公式WebサイトまたはOpenJDKプロジェクトから、Linux用のJDKインストーラーパッケージをダウンロードします。インストーラーパッケージをLinux仮想マシンにコピーしてから、ターミナルで次のコマンドを実行してインストールします。
chmod +x jdk-install-file.sh
sudo ./jdk-install-file.sh
インストールの完了後は、java -versionコマンドを実行することでJDKが正常にインストールされたことを確認できます。
- Hadoopのインストール: Linux向けHadoopのtarballをApacheの公式サイトからダウンロードする。tarballをLinux VMにコピーし、ターミナルで解凍と設定を行う:
tar -zxvf hadoop-3.2.2.tar.gz
cd hadoop-3.2.2
sudo nano etc/hadoop/hadoop-env.sh
hadoop-env.shファイルを開いて、export JAVA_HOME=の行を見つけ、export JAVA_HOME=/usr/lib/jvm/java-/に変更する。はインストールしたJDKのバージョン番号とする。
次に、ファイルを編集してetc/hadoop/core-site.xml、構成ファイルに以下の内容を追加します。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
最後に、etc/hadoop/hdfs-site.xml ファイルを編集し、以下の情報を設定に追記します。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
保存してエディターを終了します。
- ターミナルで以下のコマンドを実行してHadoopを起動する
bin/hdfs namenode -format
sbin/start-dfs.sh
続いて、Hadoop が正常に起動しているかどうかを jps コマンドを実行して確認します。
Xshell, JDK, Hadoop環境をLinux仮想マシン上に構築しました。Xshellから仮想マシンに接続し、Hadoopを使用してMapReduceなどのタスクを実行できます。