在Mac上安装Apache Spark.

我在我的Mac上安装了Apache Spark,并记录了安装步骤。
※ 我的Mac操作系统是OS X 10.8.5。

下载

请从下面复制二进制文件的下载链接。

当您进入下载页面时,

・sparkのバージョン
・パッケージタイプ
・ダウンロードの仕方

有一个选择框,可以选择。

・1.1.1
・Pre-build for Hadoop 2.4
・Direct Download

选择。
选择后,

「4. Download Spark: spark-1.1.1-bin-hadoop2.4.tgz」

当你看到这个链接时,用右键点击该链接并复制它。

接下来,打开终端,通过刚刚的链接下载二进制文件。

$ cd /tmp

# ダウンロード
$ curl -O http://d3kbcqa49mib13.cloudfront.net/spark-1.1.1-bin-hadoop2.4.tgz

# ファイルを確認
$ ls 
spark-1.1.1-bin-hadoop2.4.tgz

将下载的文件解压并移动到适当的位置。

# 解凍
$ tar xzf spark-1.1.1-bin-hadoop2.4.tgz

# ファイル確認
$ ls 
spark-1.1.1-bin-hadoop2.4

# 移動
$ mv spark-1.1.1-bin-hadoop2.4 /usr/local/share/spark

我会尝试下载并运行以确认是否成功完成。

尝试启动 Apache Spark。

起动Shell为”bin/spark-shell”。

$ cd /usr/local/share/spark

# 起動
$ bin/spark-shell

# 起動するとこんなのがでます
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 1.1.1
      /_/
・
・
・
xx/xx/xx xx:xx:xx INFO SparkILoop: Created spark context..
Spark context available as sc.

scala> 

接下来,我们尝试运行一个简单的示例样本。

从Apache Spark的README.md文件中提取几行是在官方文档中有描述的处理步骤。

※官方指南网址:https://spark.apache.org/docs/1.1.0/quick-start.html

在Spark启动的情况下,执行以下操作。

scala> val textFile = sc.textFile("README.md")
textFile: org.apache.spark.rdd.RDD[String] = README.md MappedRDD[1] at textFile at <console>:12

scala> textFile.count()
res0: Long = 141

请您确认一下,输出结果是否准确无误,共计141行。

    注意点

上記サンプル実行時に

val textFile = sc.textFile("README.md")

とファイルを読み込んでいる箇所ですが、
sparkがある場所(今回だと/usr/local/share/spark)
直下で実行しないとREADME.mdが存在しないけどどうなってんの?
って怒られますのでご注意を。

※直下で実行しない場合は絶対パスか相対パスで指定すればokです

最后

虽然样本执行的水平还不高,但将来计划尝试进行独立执行,试验各种不同的方法。

如果有什么新的消息,像这样分享出来的话,我很希望能进行信息交流。

bannerAds