Cdh5 on centos6

在 CentOS 6上安装 Cloudera 5.4.x

安装CDH有三种方式：

Vagrant

若你没有安装 CentOS 6，可安装一个虚拟机。

$ mkdir vm-install
$ cd vm-install
$ vagrant init chef/centos-centos-6.6

编辑 Vagrantfile

Vagrant.configure(2) do |config|
  config.vm.box = "chef/centos-6.6"
  config.vm.network "private_network", ip: "192.168.33.10"
  config.vm.hostname = "node1"
end

Java

JRE

从 Oracle官网下载JRE
rpm -ivh  jre-8u51-linux-x64.rpm

JDK

yum install java-1.8.0-openjdk
yum install java-1.7.0-openjdk

PostgreSQL

使用嵌入式 PostgreSQL 数据库注：只用于测试演示，不用于生产。

yum install cloudera-manager-server-db-2
service cloudera-scm-server-db start

编辑 /etc/cloudera-scm-server/db.properties

com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.password=cloudera

ROOT账户：cat /var/lib/cloudera-scm-server-db/data/generated_password.txt

重新数据库初始化: /usr/share/cmf/bin/initialize_embedded_db.sh /var/lib/cloudera-scm-server-db/data /var/log/cloudera-scm-server/

使用独立PostgreSQL数据库

yum install http://yum.postgresql.org/9.4/redhat/rhel-6-x86_64/pgdg-redhat94-9.4-1.noarch.rpm
yum install postgresql94-server postgresql94-contrib
service postgresql-9.4 initdb
chkconfig postgresql-9.4 on
service postgresql-9.4 start
若修改数据目录 /home/data/pg_data
chown -R postgres:postgres /home/data/pg_data
进入目录"/etc/sysconfig/pgsql"，创建文件"postgresql-9.4"(文件名要和数据库的服务名一致)
写入内容：PGDATA=/home/data/pg_data

设置Cloudera Manager Server 的数据库

$ sudo -u postgres psql
postgres=# CREATE ROLE scm LOGIN PASSWORD 'scm';
postgres=# CREATE DATABASE scm OWNER scm ENCODING 'UTF8';

创建适用于 Activity Monitor、Reports Manager、Hive Metastore、Sentry Server、Cloudera Navigator Audit Server 和 Cloudera Navigator Metadata Server 的数据库

postgres=# CREATE ROLE user LOGIN PASSWORD 'password';
postgres=# CREATE DATABASE databaseName OWNER user ENCODING 'UTF8';

角色 	数据库  	用户  	密码
Activity Monitor	amon	amon	amon_password
Reports Manager	rman	rman	rman_password
Hive Metastore Server	metastore	Hive	hive_password
Sentry Server	sentry	sentry	sentry_password
Cloudera Navigator Audit Server	nav	nav	nav_password
Cloudera Navigator Metadata Server	navms	navms	navms_password

CM

wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

Cloudera Manager Installer 会自动

检测操作系统
如果你没安装JRE会安装JRE
会安装配置一个嵌入PostgreSQL数据库

修改 /etc/selinux/config 文件设置SELINUX=disabled

./cloudera-manager-installer.bin

此过程会下载安装600多M的 cloudera-manager-daemons // x86_64 5.4.3-1.cm543.p0.258.el6 cloudera-manager 638 M

因为可能下载的网站被墙，可使用本地存储库。

tar zxvf cm5.4.3-centos6.tar.gz
chmod -R ugo+rX cm
cd cm
python -m SimpleHTTPServer 8900
http://server:8900/cm

创建

/etc/yum.repos.d/myrepo.repo
[myrepo]
name=myrepo
baseurl=http://hostname/cm/5
enabled=1
gpgcheck=0

./cloudera-manager-installer.bin --skip_repo_package=1

鉴于国内网络的特殊情况，建议采用安装路径 B和安装路径 C的方式手动安装

Cloudera 建议使用软件包管理工具安装产品，例如 yum 用于兼容 Red Hat 的系统，zypper 用于 SLES，apt-get 用于 Debian/Ubuntu。

所以最好的方式是在自己的内部和外部服务器上创建 Cloudera Manager 存储库

CM Agnet

安装 Cloudera Manager Agent 软件包

yum install cloudera-manager-agent cloudera-manager-daemons

/etc/cloudera-scm-agent/config.ini，配置 Cloudera Manager Agent 以指向 Cloudera Manager Server：

server_host
server_port

Cloudera Navigator

Cloudera Navigator 提供审核、元数据和安全组件的功能。

Cloudera Navigator 在 Cloudera Management Service 中实施为两个角色：Navigator Audit Server 和 Navigator Metadata Server。

CDH

安装 CDH 和托管的服务软件包

获得安装包

yum --nogpgcheck localinstall cloudera-cdh-5-0.x86_64.rpm

添加存储库密钥(可选)

rpm --import http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/RPM-GPG-KEY-cloudera

安装 CDH 软件包

yum clean all
yum install avro-tools crunch flume-ng hadoop-hdfs-fuse hadoop-hdfs-nfs3 hadoop-httpfs hbase-solr hive-hbase hive-webhcat hue-beeswax 
hue-hbase hue-impala hue-pig hue-plugins hue-rdbms hue-search hue-spark hue-sqoop hue-zookeeper impala impala-shell kite llama mahout 
oozie pig pig-udf-datafu search sentry solr-mapreduce spark-python sqoop sqoop2 whirr

这一步，大概要安装 87 Package(s)，总下载量: 1.9 G，安装大小: 2.5 G。

启动

启动 Cloudera Manager Server

sudo service cloudera-scm-server start

启动 Cloudera Manager Agent

sudo service cloudera-scm-agent start

Web 浏览器访问

http://localhost:7180
用户名：admin密码：admin。

仓库

/etc/yum.repos.d/cloudera-manager.repo

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/cloudera-manager.repo

解决方案

Cloudera 托管两种可用来安装 Cloudera Manager 或 CDH 等产品的软件存储库 — parcel 存储库以及 RHEL、SLES RPM 和 Debian/Ubuntu 软件包存储库。

图集

支持的OS
CM安装阶段

参考