Cdh5 on centos6

在 CentOS 6上安装 Cloudera 5.4.x

安装CDH有三种方式：

• 安装路径 A — 通过 Cloudera Manager 自动安装
• 安装路径 B — 使用 Cloudera Manager 软件包手动安装
• 安装路径 C — 使用 Cloudera Manager 源代码手动安装

Vagrant

若你没有安装 CentOS 6，可安装一个虚拟机。

$ mkdir vm-install
$ cd vm-install
$ vagrant init chef/centos-centos-6.6

编辑 Vagrantfile

Vagrant.configure(2) do |config|
  config.vm.box = "chef/centos-6.6"
  config.vm.network "private_network", ip: "192.168.33.10"
  config.vm.hostname = "node1"
end

Java

JRE

从 Oracle官网下载JRE
rpm -ivh  jre-8u51-linux-x64.rpm

JDK

yum install java-1.8.0-openjdk
yum install java-1.7.0-openjdk

PostgreSQL

yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1.noarch.rpm
yum install postgresql94-server postgresql94-contrib
service postgresql-9.4 initdb
chkconfig postgresql-9.4 on
service postgresql-9.4 start
若修改数据目录 /home/data/pg_data
chown -R postgres:postgres /home/data/pg_data
进入目录"/etc/sysconfig/pgsql"，创建文件"postgresql-9.4"(文件名要和数据库的服务名一致)
写入内容：PGDATA=/home/data/pg_data

设置Cloudera Manager Server 的数据库

$ sudo -u postgres psql
postgres=# CREATE ROLE scm LOGIN PASSWORD 'scm';
postgres=# CREATE DATABASE scm OWNER scm ENCODING 'UTF8';

创建适用于 Activity Monitor、Reports Manager、Hive Metastore、Sentry Server、Cloudera Navigator Audit Server 和 Cloudera Navigator Metadata Server 的数据库

postgres=# CREATE ROLE user LOGIN PASSWORD 'password';
postgres=# CREATE DATABASE databaseName OWNER user ENCODING 'UTF8';  

角色 	数据库  	用户  	密码
Activity Monitor	amon	amon	amon_password
Reports Manager	rman	rman	rman_password
Hive Metastore Server	metastore	Hive	hive_password
Sentry Server	sentry	sentry	sentry_password
Cloudera Navigator Audit Server	nav	nav	nav_password
Cloudera Navigator Metadata Server	navms	navms	navms_password

CM

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

Cloudera Manager Installer 会自动

• 检测操作系统
• 如果你没安装JRE会安装JRE
• 会安装配置一个嵌入PostgreSQL数据库

修改 /etc/selinux/config 文件设置SELINUX=disabled

./cloudera-manager-installer.bin

此过程会下载安装600多M的 cloudera-manager-daemons // x86_64 5.4.3-1.cm543.p0.258.el6 cloudera-manager 638 M

因为可能下载的网站被墙，可使用本地存储库。

tar zxvf cm5.4.3-centos6.tar.gz
chmod -R ugo+rX cm
cd cm
python -m SimpleHTTPServer 8900
http://server:8900/cm

创建

/etc/yum.repos.d/myrepo.repo
[myrepo]
name=myrepo
baseurl=http://hostname/cm/5
enabled=1
gpgcheck=0 

./cloudera-manager-installer.bin --skip_repo_package=1

鉴于国内网络的特殊情况，建议采用安装路径 B和安装路径 C的方式手动安装

Cloudera 建议使用软件包管理工具安装产品，例如 yum 用于兼容 Red Hat 的系统，zypper 用于 SLES，apt-get 用于 Debian/Ubuntu。

所以最好的方式是在自己的内部和外部服务器上创建 Cloudera Manager 存储库

CM Agnet

安装 Cloudera Manager Agent 软件包

yum install cloudera-manager-agent cloudera-manager-daemons

/etc/cloudera-scm-agent/config.ini，配置 Cloudera Manager Agent 以指向 Cloudera Manager Server：

server_host
server_port  

CDH

安装 CDH 和托管的服务软件包

获得安装包

yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm

添加存储库密钥(可选)

rpm --import http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera

安装 CDH 软件包

yum clean all
yum install avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax 
hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout 
oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr

启动

启动 Cloudera Manager Server

sudo service cloudera-scm-server start

启动 Cloudera Manager Agent

sudo service cloudera-scm-agent start

Web 浏览器访问

http://localhost:7180
用户名：admin密码：admin。

仓库

/etc/yum.repos.d/cloudera-manager.repo

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

图集

• 

  支持的OS

• 

  CM安装阶段

参考

• Cloudera Installation and Upgrade
• 创建本地yum软件源，为本地Package安装Cloudera Manager、Cloudera Hadoop及Impala做准备