redhat操作系统(redhat镜像下载官网)-众学网

文档编写目的

CDH6.3.3于2020年2月4日发布，从该版本开始，Cloudera将不再提供CDH免费版，用户只能通过试用或者购买正式许可证才能够下载CDH安装包及使用，参考《0743-Cloudera Enterprise 6.3.3发布》。这篇文档主要介绍了在Redhat7.6环境下安装CDH6.3.3集群的详细步骤。

操作环境

1.操作系统：RedHat7.6

2.集群环境：CDH6.3.3

3.操作用户：root

前置准备

2.1 网络设置

修改网络IP，并设置为静态：

vim/etc/sysconfig/network-scripts/ifcfg-ens192

2.2 yum源配置

1.挂载系统镜像

准备系统镜像文件，注意：准备的系统镜像文件必须与当前系统版本一致

cat/etc/redhat-release

在/media目录下创建DVD文件夹，然后挂载，系统镜像到此目录

mkdir/media/DVDmount-oloop/dev/cdrom/media/DVD/

查看镜像已经挂载成功

df-h

[osrepo]name=RedHat7.6baseurl=file:///media/DVD/enabled=truegpgcheck=false

cd/etc/yum.repos.d/touchos.repovimos.repo

保存退出。然后执行命令 yum repolist:

在下面2.4节做好交互式脚本后，使用脚本进行同步到集群所有节点：

shbatch_scp.shnode.list/etc/yum.repos.d/os.repo/etc/yum.repos.d/

执行yum repolist:

shbatch_cmd.shnode.list”yumrepolist”

2.3 安装httpd

1.下载安装httpd：

yuminstall-yhttpd

2.修改配置文件

启动httpd，并设置开机自动启动，查看httpd状态：

systemctlstarthttpdsystemctlenablehttpdsystemctlstatushttpd

2.修改系统yum源配置

创建/var/www/html/iso目录，然后将/media/DVD目录下的所有内容拷贝到/var/www/html/iso目录

mkdir/var/www/html/isocp-r/media/DVD/*/var/www/html/iso/

然后修改/etc/yum.repos.d/os.repo文件如下：

baseurl=http://192.168.0.193/iso/

然后执行yum repolist命令

3.配置Cloudera Manager的repo源

将Cloudera Manager的所有rpm包放到 /var/www/html/目录的新建目录cm6.3.3下：

在/var/www/html/cm6.3.3目录下执行命令：createrepo . 生成rpm元数据：

在/etc/yum.repos.d/目录下新建cm.repo文件，并添加如下内容：

[cm_repo]name=cm_repobaseurl=http://192.168.0.193/cm6.3.3/enable=truegpgcheck=false

保存退出。

执行

yumcleanallyumrepolist

验证安装JDK

yum-yinstallopenjdk8-8.0 232_9-cloudera

2.4 准备交互式脚本

上传脚本到master节点，执行

yum-yinstallexpect

2.5 主机名设置

1.使用hostnamectl set-hostname 主机名 :（所有节点执行）

hostnamectlset-hostnamecdp1.hadoop.com

2.配置 /etc/hosts

添加主机IP映射

主机IP hostname

192.168.0.193cdp1.hadoop.com192.168.0.194cdp2.hadoop.com192.168.0.196cdp3.hadoop.com

保存退出。

使用脚本分发到所有节点：

重开窗口确认主机名生效

2.6 禁止Selinux

执行如下命令（所有节点）：

./batch_cmd.shnode.list”setenforce0″

修改配置文件

2.7 关闭防火墙

批量关闭防火墙（所有节点）：

使用脚本命令：

./batch_cmd.shnode.list”systemctlstopfirewalld”

设置开机不启动防火墙：

使用脚本命令：

./batch_cmd.shnode.list”systemctldisablefirewalld”

查看防火墙状态：

使用脚本命令：

./batch_cmd.shnode.list”systemctlstatusfirewalld”

2.8 关闭透明大页面

使用脚本命令批量执行如下操作（所有节点）：

shbatch_cmd.shnode.list”echonever>/sys/kernel/mm/transparent_hugepage/defrag”shbatch_cmd.shnode.list”echonever>/sys/kernel/mm/transparent_hugepage/enabled”

修改/etc/rc.d/rc.local文件，设置开机自动关闭透明大页面，添加内容如下：

iftest-f/sys/kernel/mm/transparent_hugepage/enabled;thenechonever>/sys/kernel/mm/transparent_hugepage/enabledfiiftest-f/sys/kernel/mm/transparent_hugepage/defrag;thenechonever>/sys/kernel/mm/transparent_hugepage/defragfi

vim/etc/rc.d/rc.local

将修改后的文件分发到所有节点，然后修改文件可执行权限

shbatch_scp.shnode.list/etc/rc.d/rc.local/etc/rc.d/shbatch_cmd.shnode.list”chmod x/etc/rc.d/rc.local”shbatch_cmd.shnode.list”ls-l/etc/rc.d/|greprc.local”

2.9 设置swappiness

使用脚本批量执行（所有节点）

shbatch_cmd.shnode.list”sysctlvm.swappiness=1″shbatch_cmd.shnode.list”echo1>/proc/sys/vm/swappiness”

永久修改

vim/etc/sysctl.confvm.seappiness=1

分发到所有节点

shbatch_scp.shnode.list/etc/sysctl.conf/etc/

查看swappiness的值：

shbatch_cmd.shnode.list”cat/proc/sys/vm/swappiness”

2.10安装ntp时间

1.卸载chrony

在Redhat7.x的操作系统上，已经默认的安装了chrony，我们这里先卸载chrony，然后安装ntp。使用ntp来配置各台机器的时钟同步。

所有节点卸载chrony

./batch_cmd.shnode.list”yum-yremovechrony”

2.所有节点下载安装ntp服务

使用脚本批量执行

./batch_cmd.shnode.list”yum-yinstallntp”

Master节点修改 /etc/ntp.conf文件：

注释部分内容

添加以下内容：

server127.127.1.0fudge127.127.1.0stratum10

集群其他节点修改/etc/ntp.conf文件如下：

启动ntpd服务并设置开机自启：

shbatch_cmd.shnode.list”systemctlstartntpd”shbatch_cmd.shnode.list”systemctlenablentpd”shbatch_cmd.shnode.list”systemctlstatusntpd|grepActive”

查看同步状态：

shbatch_cmd.shnode.list”ntpq-p”

2.11安装数据库

1.安装外部数据库

yum-yinstallmariadbmariadb-server

启动MariaDB数据库服务，并设置未开机自启：

systemctlstartmariadbsystemctlenablemariadbsystemctlstatusmariadb

配置mariadb，设置密码为password

/usr/bin/mysql_secure_installation

2.创建集群所需要的数据库

createdatabasemetastoredefaultcharactersetutf8;CREATEUSER’hive’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONmetastore.*TO’hive’@’%’;FLUSHPRIVILEGES;createdatabasescmdefaultcharactersetutf8;CREATEUSER’scm’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONscm.*TO’scm’@’%’;FLUSHPRIVILEGES;createdatabasermdefaultcharactersetutf8;CREATEUSER’rm’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONrm.*TO’rm’@’%’;FLUSHPRIVILEGES;createdatabaseamdefaultcharactersetutf8;CREATEUSER’am’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONam.*TO’am’@’%’;FLUSHPRIVILEGES;createdatabasehuedefaultcharactersetutf8;CREATEUSER’hue’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONhue.*TO’hue’@’%’;FLUSHPRIVILEGES;createdatabaseooziedefaultcharactersetutf8;CREATEUSER’oozie’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONoozie.*TO’oozie’@’%’;FLUSHPRIVILEGES;createdatabasesentrydefaultcharactersetutf8;CREATEUSER’sentry’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONsentry.*TO’sentry’@’%’;FLUSHPRIVILEGES;createdatabasenav_msdefaultcharactersetutf8;CREATEUSER’nav_ms’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONnav_ms.*TO’nav_ms’@’%’;FLUSHPRIVILEGES;createdatabasenav_asdefaultcharactersetutf8;CREATEUSER’nav_as’@’%’IDENTIFIEDBY’password’;GRANTALLPRIVILEGESONnav_as.*TO’nav_as’@’%’;FLUSHPRIVILEGES;