Ubuntu Spark 环境搭建

2017-04-17

Ubuntu-16.0-04-2 + spark2.1 + Anaconda3-4.1.1(python3.5.2)

#安装
$ sudo bash Anacondaxxxxx.sh
#之后依次会出现许可文件接收、询问是否将bin添加到环境变量，依次回车和yes即可
#.bashrc的更新生效
$ source ~/.bashrc
#享用... 
$ python

基本和前一篇(Windows下部署spark)中Spark安装一致,下载、解压、添加环境变量。。。

先将spark目录下的python库添加到了python的找寻目录，添加一个PYTHONPATH的环境变量

1 2	#spark安装目录下python文件路径 export PYTHONPATH=/home/hadoop/app/spark-2.1.0-bin-hadoop2.6/python

然后在spark安装目录下/spark-2.1.0-bin-hadoop2.6/python/lib里找到py4j-0.10.4-src.zip，将其解压到/spark-2.1.0-bin-hadoop2.6/python目录下即可。

#测试
import pyspark
conf = pyspark.SparkConf().setAppName("test").setMaster("local")
sc = pyspark.SparkContext(conf=conf)