您现在的位置是:首页 >技术交流 >搭建CDH流程记录网站首页技术交流

搭建CDH流程记录

禾几头 2023-05-26 12:00:03
简介搭建CDH流程记录

搭建CDH流程记录

  • 如何搭建本地yum源
    1.配置yum源这里使用 阿里源 http://mirrors.aliyun.com/repo/Centos-7.repo
wget  http://mirrors.aliyun.com/repo/Centos-7.repo

2.安装http软件

yum install httpd -y

3.配置httpd.conf

 vi /etc/httpd/conf/httpd.conf
 在 AddType application/x-gzip .gz .tgz 添加 .parcel
 例: AddType application/x-gzip .gz .tgz .parcel

4.启动httpd服务

 systemctl start httpd  #启动服务
 systemctl enable httpd #开机自启动

访问web页面,如果无法访问可能是防火墙没有关
http展示文件但是此时并不能作为其他主机的yum源地址,还需要在当前文件夹下做如下操作

yum install createrepo
createrepo .

此时可以作为yum源供本地服务器下载文件

  • 未在已配置的存储库中找到任何parcelList item需要在/opt/cloudera/parcel-repo/文件夹下放下如下文件才可被识别在这里插入图片描述然后重启服务
systemctl restart cloudera-scm-server
  • 无法连接数据库
    数据库连接解决方法:在mysql内执行下列语句
grant all privileges on *.* to root@'%' identified by 'root' with grant option;

flush privileges;

3.若以上的方法未能生效,尝试执行

#grant all privileges on *.* to 'root'@'cdh1' identified by 'root' with grant 
grant all privileges on *.* to 'root'@'主机名' identified by 'root' with grant option;flush privileges;

如果如下页面总是出现多处错误(no GCs detected),可能是虚拟机分配的内存资源不够,多重试几次就可以,也可以加大虚拟机的内存大小

查看cloudera-scm-server报错日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

成功搭建成功后,各个节点的可用空间不足,下次搭建时需要注意给虚拟机分配足够的磁盘空间(至少30G)
空间不足

参考链接
CDH搭建
CDH搭建三部曲,搭建yum源,安装前期配置,前台的安装配置
免费版CDH环境搭建(附带免费下载地址)

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。