一、前言
最近在学习大数据相关的知识，在自己的笔记本上搭建了spark环境，本文是记录了这次搭建环境中的步骤，如有问题，欢迎指正。
二、下载准备
1. spark下载
spark下载网站 http://spark.apache.org/downl...
在上述网站上找到 Download Spark: spark-x.x.x-bin-hadoopx.x.tgz 点击即可下载最新版本的spark,也可以选择老的版本。
2. scala下载
3.hadoop下载
hadoop镜像网站 http://www.apache.org/dyn/clo...
在这个网站上选择一个镜像网站，例如 http://mirrors.hust.edu.cn/ap...
然后在对应的hadoop版本号下，选择hadoop-x.x.x.tar.gz下载解压，一般这个要与spark下载时文件名上的hadoop的版本一致。
4.winutil下载
这个软件是为了是hadoop可以兼容在windows下运行，在github上可以找到很多。这是我下载用过的网址
- win32版本 https://github.com/andygoldsm...
- win64版本 https://github.com/stevelough...
版本好要和自己下载的hadoop版本的hadoop版本对应，下载解压后到 bin/ 目录下执行winutils.exe chmod -R 777 C:/tmp/hive 即可，盘符可换。
三、配置环境变量
解压上述下载的文件到对应目录后，然后配置环境变量，下面的是我的配置
SCALA_HOME : C:\Program Files (x86)\scala2.11.7;
JAVA_HOME : C:\Program Files\Java\jdk1.8.0_51
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1
SPARK_HOME : C:\Hadoop\spark-2.2.0-bin-hadoop2.7
PATH : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin
在命令行下运行spark-shell,这样就进入了scala语法的spark-shell。
四、python环境配置
需要将下载后的spark目录下的./python/pyspark复制到python安装目录下的./Lib/site-packages目录下，然后就可以在python代码中import pyspark了，当然也可以在命令行下执行pyspark直接进入python版本的spark-shell
