spark
需要安装的软件：virtual box5.1(vmware)、centos6.5/Ubuntu、jdk1.7、Hadoop2.4.1、hive0.13、zookeeper3.4.5、kafka_2.9.2-0.8.1、spark1.5.1、
secureCRT（命令操作）、WinSCP（上传centos通道上传文件）
网络配置
永久配置centos网络：vi /etc/sysconfig/network-scripts/ifcfg-eth0，
ONBOOT=yes 启动或重启网络时，
BOOTPROTO=static 将ip地址设置为静态
IPADDR= IP地址
NETMASK= 子网掩码
GATEWAY= 默认网关
注：上述地址具体可在Windows控制台用ipconfig命令查看
service network restart，重启网关
ifconfig 查看是否设置成功
在本地文件/etc/hosts中配置本地ip到host（spark）的映射：vi /etc/hosts,添加以下内容：
192.168.14.33（为spark1静态的IP地址） spark1
192.168.14.33（为spark2静态的IP地址） spark2
192.168.14.33（为spark3静态的IP地址） spark3
在spark1上配置好以后，可以通过scp /etc/hosts root@spark2:/etc/hosts、scp /etc/hosts root@spark3:/etc/hosts分别拷贝到spark2和spark3上面，之后可通过在spark1上ping 通spark2
注：拷贝文件夹时：scp -r /usr/local/p1 root@spark2:/ust/local/
Ctrl+R可以快速搜索之前输入过的命令
防火墙与DNS配置
关闭防火墙：service iptables stop
chkconfig iptables stop 启动时自动关闭
vi /etc/selinux/config SELINUX=disabled
配置DNS服务器：vi /etc/resolv.conf 有nameserver则上步已成功配置
nameserver=
ping www.baidu.com检查能否上网
配置Windows主机上的hosts文件C:\Windows\System32\drivers\etc\hosts,修改spark1、2、3的地址，随后可在Windows控制台ping通spark1、2、3.
securecrt说明：securecrt可实现在Windows环境下对Linux进行操作，
WinSCP说明：可以在Windows下查看Linux下的文件，可以将windows下的文件上传到Linux
yum配置
修改repo：使用WinSCP，CentOS6-Base-163.repo上传到centos的usr\local目录下，
cd /etc/yum.repos.d/
删除centos的所有源（删除当前目录下所有文件：rm -rf *）
mv我们的repo到/etc/yum.repos.d/目录下（移动文件到当前目录：mv /usr/local/project .），修改repo文件，将所有gpgcheck属性修改为0.
拷贝文件到当前目录：cp /usr/local/
配置yum：yum clean all 清除之前文件
yum makecache 设置缓存
yum install talnet 用yum下载talnet
JDK1.7的安装
1.将jdk-7u60-linux-i586.rpm通过WinSCP上传到虚拟机/usr/local下面
2.rpm -ivh jdk-7u60-linux-i586.rpm
3.配置环境变量
vi .bashrc
export JAVA_HOME=/usr/java/latest
export PATH=$PATH:$JAVA_HOME/bin
source bashrc 使编辑生效
4.检测是否安装成功
java -version
配置SSH集群免密码登录
生成公钥：ssh-keygen -t rsa ，默认将公钥存在/root/.ssh目录下，
将公钥复制为authorized_keys文件：cd /root/.ssh
cp id_rsa.pubauthorized_keys(单个机器内部拷贝使用cp命令，机器之间使用scp命令)
此时单个机器内部不需要密码，在spark1内部使用ssh spark1试验。
在spark1上ssh-copy-id -i spark2将本机（spark1）的公钥拷贝（添加）到指定机器（spark2）的authorized_keys，此时在spark1上使用ssh spark2，只用输入一次密码即可以在spark1上登录spark2，配置成功。
类似的分别在spark1、spark2、spark3上将本机公钥拷贝到其余机器上之后，即可以实现互通。
