1. 前置准备

1.1虚拟机的安装

略

1.2 liunx安装

略

2.Hadoop集群部署

略

3.Hive安装和部署

3.1MySQL安装

在master节点使用yum在线安装MySQL5.7版本

1. 更新密钥

rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

2. 安装MySQL yum库

rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

3. yum 安装MySQL

yum -y install mysql-community-server

4. 启动MySQL

systemctl start mysqld

5. 设置开机启动

systemctl enable mysqld

6. 检查MySQL状态

systemctl status mysqld

7. 第一次启动会生成随机密码，查看密码

cat /var/log/mysqld.log | grep 'temporary password'

8. 登录MySQL

mysql -uroot -p

• 输入复制的随机密码

9. 降低密码等级

set global validate_password_policy=LOW;

10. 修改密码最低位数

set global validate_password_length=4;

11. 修改本机登录密码

ALTER USER 'root'@'localhost' identified by '123456';

12. 修改远程登录密码

grant all privileges on *.* to root@"%" identified by '123456' with grant option;

13. 刷新权限

flush privileges;

14. 创建数据库hive

CREATE DATABASE hive CHARSET UTF8;

15. 退出数据库

Ctrl+D

3.2 配置Hadoop

1. Hive的运行依赖于Hadoop，配置Hadoop的代理用户

vim /app/hadoop/hadoop-3.3.4/etc/hadoop/core-site.xml

新增如下字段

<property>
    <name>hadoop.proxyuser.hadoop.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.hadoop.groups</name>
    <value>*</value>
</property>

3.3Hive安装

1. 下载Hive安装包
   https://archive.apache.org/dist/hive/hive-3.1.3/
2. 上传至/app/hive，并解压

直接下载好的文件通过finalShell上传至目标位置

cd /app/hive

tar -zxvf apache-hive-3.1.3-bin.tar.gz

3. 下载MySQL驱动包
   https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-
   5.1.34.jar
4. 将下载好的驱动包放入hive安装文件夹的lib目录内

直接下载好的jar文件通过finalShell上传至目标位置

5. 配置hive
   5.1 设置hive-env.sh

vim /app/hive/apache-hive-3.1.3-bin/conf/hive-env.sh

新增如下字段

export HADOOP_HOME=/app/hadoop/hadoop-3.3.4
export HIVE_HOME=/app/hive/apache-hive-3.1.3-bin
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib

5.2 配置hive-site.xml

vim /app/hive/apache-hive-3.1.3-bin/conf/hive-site.xml

新增如下字段

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>

		<property>
                <name>hive.server2.thrift.bing.host</name>
                <value>master</value>
        </property>
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://master:9083</value>
        </property>
        <property>
                <name>hive.metastore.event.db.notification.api.auth</name>
                <value>false</value>
        </property>
</configuration>

6. 初始化元数据库

cd /app/hive/apache-hive-3.1.3-bin/bin

./schematool -dbType mysql -initSchema -verbos

7. 创建日志文件夹

mkdir /app/hive/apache-hive-3.1.3-bin/logs

8. 配置环境变量

vim /etc/profile

新增如下

#hive环境变量
export HIVE_HOME=/app/hive/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin

9. 应用环境变量配置

source /etc/profile

10. 将hive权限赋予hadoop用户

chown -R hadoop:hadoop /app/hive

3.4 启动hive

1. 切换为hadoop用户,进入目录

su - hadoop

记得先启动hadoop

2. 启动元数据
   前台启动

hive --service metastore

后台启动

 nohup hive --service metastore >>  /app/hive/apache-hive-3.1.3-bin/logs/metastore.log 2>&1 &

3. 启动客户端，二选一
   Hive Shell方式（可以直接写SQL）

hive

Hive ThriftServer方式（不可以直接写SQL，需要外部客户端连接使用）

hive --service hiveserver2