离线安装CDH

离线安装Cloudera Manager 5和CDH

关于CDH和Cloudera Manager

CDH (Cloudera's Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境. Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件，对集群中主机、Hadoop、Hive、Spark等服务的安装配置管理做了极大简化。

系统环境

实验环境 虚拟机或者服务器操作系统 CentOS 6.5 x64 (至少内存2G以上，这里内存不够的同学建议还是整几台真机配置比较好，将CDH的所有组件全部安装会占用很多内存，我已开始设置的虚拟机内存是1G，安装过程中直接卡死了)Cloudera Manager：5.4.3CDH: 5.4.3

相关包的下载

cloudera manager 安装包 地址 http://archive.cloudera.com/cm5/cm/5/

需要下载cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 包

CDH安装包 地址 http://archive.cloudera.com/cdh5/parcels/5.4.3/

需要下载 CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel； CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1； manifest.json。

RPM包安装 地址 http://archiveprimary.cloudera.com/cm5/repo-as-tarball/5.4.3/

下载cm5.4.3-centos6.tar.gz

地址http://archive-primary.cloudera.com/cm5/installer/5.4.3/

下载cloudera-manager-installer.bin

准备工作：系统环境搭建

一下操作均需要root权限 或者 sudo

1.网络配置

修改主机名 在三台节点上分别做以下操作，主机名分别为 cdh1,cdh2,cdh3 ①、vim /etc/sysconfig/network 永久修改 HOSTNAME=cdh1 ②、hostname cdh1 临时修改 修改ip与主机名对应关系，在三台节点做相同操作 vim /etc/hosts 10.0.0.51 cdh1 10.0.0.52 cdh2 10.0.0.52 cdh3

2、免秘钥登录

①所有节点（cdh1,cdh2,ch3）生成秘钥 ssh-keygen -t rsa 一路回车，生成无密码的秘钥对 ②将秘钥拷贝到其他的节点上 ssh-copy-id root@cdh2 ssh-copy-id root@cdh3 其他的节点同理。 ③ssh cdh2 检验是否能够无密码登录

3、安装JDK

①CentOS，自带OpenJdk，不过运行CDH5需要使用Oracle的Jdk，需要Java 7的支持。 ②卸载自带的OpenJdk，使用 rpm -qa | grep java 查询java相关的包，使用 rpm -e --nodeps 包名 卸载之 ③去oracle的官网下载Java JDK ④修改 vim /etc/profile 修改环境变量

4、安装mysql

①通过yum install mysql-server安装mysql服务器。 ②service mysqld start 启动mysql 程序。 mysql -u root -p 连按两下回车进入 mysql命令行 ③创建一下数据库 create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci; create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci; ④设置root授权访问以上所有的数据库 grant all privileges on *.* to 'root'@'n1' identified by 'xxxx' with grant option; flush privileges;

5、关闭防火墙

注意需要在所有的节点上执行，因为涉及到的端口太多，临时关闭额防火墙是为了安装方便，安装完毕后可以根据设置防火墙策略保证集群安全。

关闭防火墙

service iptables stop(临时关闭） chkconfig iptables on（重启后有效）

关闭SELinux(实际安装过程中发现没有关闭也是有效的，不知道会不会有问题，还需要进一步验证）

setenforce 0(临时生效） vim /etc/selinux/config 修改SELINUX=disabled (重启后永久生效）

6、所有节点配置NTP服务

集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题

master节点作为ntp服务器与外界对时中心同步时间，随后对所有datanode节点提供时间同步服务。

所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件： yum install ntp 。完成后，配置开机启动： chkconfig ntpd on ,检查是否设置成功： chkconfig –list ntpd 其中2-5为on状态就代表成功。

主节点配置

在配置之前，先使用ntpdate手动同步一下时间，免得本机与对时中心时间差距太大，使得ntpd不能正常同步。这里选用10.0.0.51作为对时中心, ntpdate -u 10.0.0.51 。 ntp服务只有一个配置文件，配置好了就OK。 这里只给出有用的配置，不需要的配置都用#注掉，这里就不在给出：

driftfile /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default nomodify notrap server 65.55.56.206 prefer includefile /etc/ntp/crypto/pw keys /etc/ntp/keys

配置文件完成，保存退出，启动服务，执行如下命令： service ntpd start 检查是否成功，用ntpstat命令查看同步状态，出现以下状态代表启动成功：

synchronised to NTP server () at stratum 2 time correct to within 74 ms polling server every 128 s

配置ntp客户端（所有datanode节点）

driftfile /var/lib/ntp/drift restrict 127.0.0.1 restrict -6 ::1 restrict default kod nomodify notrap nopeer noquery restrict -6 default kod nomodify notrap nopeer noquery #这里是主节点的主机名或者ip server n1 includefile /etc/ntp/crypto/pw keys /etc/ntp/keys

ok保存退出，请求服务器前，请先使用ntpdate手动同步一下时间： ntpdate -u n1 (主节点ntp服务器) 这里可能出现同步失败的情况，请不要着急，一般是本地的ntp服务器还没有正常启动，一般需要等待5-10分钟才可以正常同步。启动服务： service ntpd start 因为是连接内网，这次启动等待的时间会比master节点快一些，但是也需要耐心等待一会儿。

7、所有节点配置HTTPD服务

在三个节点上分别执行以下命令

yum install httpd 安装 httpd服务 service httpd start 启动 httpd服务 service httpd status 查看 httpd 状态

开始工作

1、安装cloudera manager server 和Agent

cloudera manager 的目录默认位置在 /opt 下

①，tar -zxvf cloudera-manager*.tar.gz 将解压后的文件夹 cm-5.4.3 和 cloudera 放在/opt目录下 ②，下载mysql驱动包 然后解压后将mysql-connector-java-5.1.33-bin.jar拷贝到 /opt/cm-5.4.3/share/cmf/lib目录下 ③，在主节点初始化CM5数据库 /opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hcdh1 -uroot -pxxxx --scm-host cdh1 scm scm scm ④，同步Agent到其它节点 scp -r /opt/cm-5.4.3 root@cdh2:/opt/ ⑤，在所有节点上创建cloudera-scm用户 useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

2、准备Parcels安装CDH

相关文件如下

CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel； CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1； manifest.json。

将以上文件放到主节点 /opt/cloudera/parcel-repo/目录中（parcel-repo需要手动创建）

最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha，这点必须注意，否则，系统会重新下载CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel文件

3、配置本地yum源

相关文件如下

cm5.4.3-centos6.tar.gz cloudera-manager-installer.bin

解压文件夹 cm5.4.3 为 cm

创建文件夹 mkdir -p /var/www/html/cm5/redhat/6/x86_64 mv cm /var/www/html/cm5/redhat/6/x85_64

然后访问http:///cm5/redhat/6/x86_64/cm/ 检验是否能够访问 最后建立本地yum源

vim /etc/yum.repo.d/cloudera-manager.repo [cloudera-manager] name = clouudera-manager baseurl = http://<hostname>/cm5/redhat/6/x86_64/cm/ gpgcheck=0 enabled=1

最后

chmod 777 cloudera-manager-installer.bin ./cloudera-manager-installer.bin 会出现安装页面 然后一路next就可以了。遇到错误会有提醒错误日志在哪个文件，查看日志文件就行。

安装CDH

按照提示搭建 注意以下内容 剩下的基本没有什么内度。按照步骤一步一步搭建就行。