您现在的位置是:首页 >技术杂谈 >【Linux】Keepalived+Haproxy实现数据库集群负载均衡网站首页技术杂谈

【Linux】Keepalived+Haproxy实现数据库集群负载均衡

小 源 2024-06-14 17:17:59
简介【Linux】Keepalived+Haproxy实现数据库集群负载均衡

1、简介:

  1. 本文章的负载均衡和高可用是体现在两个从服务器上的。一般来说高可用是用在主服务器中的,例如双主多从的结构,双主做keepalived的高可用(当然也可以加上haproxy做负载均衡),多从做haproxy的负载均衡。
  2. 【keepalived】和 【haproxy】的安装一般是不和业务服务器一起的,是分开部署的。本文是为了方便学习,安装到了一起。

2、haproxy介绍

  HAProxy是一种免费的、非常快速和可靠的反向代理,为基于TCP和HTTP的应用程序提供高可用性、负载平衡和代理。

特点:

  • 拥有功能强大的后端服务器的状态监控 web 页面,可以实时了解设备的运行状态 ,还可实现设备上下线等简单操作。
  • 支持多种负载均衡调度算法,并且也支持 session 保持。
  • HAProxy 还拥有功能强大的 ACL 支持,可灵活配置路由功能,实现动静分离。
  • 可靠性与稳定性都非常出色。
  • 支持长连接、短连接和日志功能,可根据需要灵活的配置。
  • 支持两种代理模式:TCP(四层)和HTTP(七层),支持虚拟主机。

3、keepalived介绍

  Keepalived的作用是检测服务器的状态,如果有一台web服务器宕机,或工作出现故障,Keepalived将检测到,并将有故障的服务器从系统中剔除,同时使用其他服务器代替该服务器的工作,当服务器工作正常后Keepalived自动将服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的服务器。

Keepalived工作在TCP/IP 参考模型的 三层、四层、五层,也就是分别为:网络层,传输层和应用层,根据TCP、IP参数模型隔层所能实现的功能,Keepalived运行机制如下:

  在网络层:我们知道运行这4个重要的协议,互联网络IP协议,互联网络可控制报文协议ICMP、地址转换协议ARP、反向地址转换协议RARP,在网络层Keepalived在网络层采用最常见的工作方式是通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能),如果某个节点没有返回响应数据包,那么认为该节点发生了故障,Keepalived将报告这个节点失效,并从服务器集群中剔除故障节点。

  在传输层:提供了两个主要的协议:传输控制协议TCP和用户数据协议UDP,传输控制协议TCP可以提供可靠的数据输出服务、IP地址和端口,代表TCP的一个连接端,要获得TCP服务,需要在发送机的一个端口和接收机的一个端口上建立连接,而Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常,比如对于常见的WEB服务器80端口。或者SSH服务22端口,Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回,就认为这些端口发生异常,然后强制将这些端口所对应的节点从服务器集群中剔除掉。

  在应用层:可以运行FTP,TELNET,SMTP,DNS等各种不同类型的高层协议,Keepalived的运行方式也更加全面化和复杂化,用户可以通过自定义Keepalived工作方式,例如:可以通过编写程序或者脚本来运行Keepalived,而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常,如果Keepalived的检测结果和用户设定的不一致时,Keepalived将把对应的服务器从服务器集群中剔除。

4、安装工具

4.1、haproxy安装

4.1.1、在两个从服务器【192.168.119.150】【192.168.119.151】上安装haproxy负载均衡器,安装结果如下图。

#安装haproxy
yum install haproxy -y

 4.1.2、配置haproxy的配置文件,配置文件目录地址【/etc/haproxy/haproxy.cfg】。

#打开配置文件
vim /etc/haproxy/haproxy.cfg

#删除原有的配置,写入以下配置到文件中
global
    log         127.0.0.1 local2
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats socket /var/lib/haproxy/stats

defaults
    mode                   tcp
    log                     global
    option                  tcplog
    option                  dontlognull
    option http-server-close
    option                  redispatch
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    maxconn                 3000

frontend                mysql
    bind                0.0.0.0:3307
    mode                tcp
    log                 global
    default_backend     mysql_server

backend         mysql_server
    balance     roundrobin
    server      mysql1 192.168.119.150:3306 check inter 5s rise 2 fall 3
    server      mysql2 192.168.119.151:3306 check inter 5s rise 2 fall 3

listen stats
    mode http
    bind 0.0.0.0:1080
    stats enable
    stats hide-version
    stats uri /haproxyadmin?stats
    stats realm Haproxy Statistics
    stats auth admin:admin
    stats admin if TRUE

4.1.3、启动haproxy负载均衡;使用命令【ps -ef | grep haproxy】查看是否启动,结构如下图。

#启动命令
/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg

4.1.4、在【4.1.2】的配置文件中有【listen stats】项,这项配置的是WEB页面的的访问信息。从中可以看到需要开放【1080】端口,所以需要所在服务器开放【1080】端口。而访问web页面的格式是【本机IP地址+端口+配置文件中[backend  mysql_server]项下的[stats uri]值】,密码是配置文件中【listen stats】 项的 【stats auth】值,冒号前面是账号,后面是密码。在【frontend mysql】项中也有个【3307】的端口别忘开放了。

4.2、keepalived安装

4.2.1、从服务器上都要安装keepalived,首先要安装它的相关依赖。

#先安装keepalived的相关依赖
yum install gcc gcc-c++ openssl openssl-devel

4.2.2、下载并安装keepalived,结果如下图。

#yun安装keepalivedll
yum install keepalived -y

4.2.3、设置 keepalived 服务的开机启动,结果如图。

#设置开机启动命令
chkconfig keepalived on

4.2.4、配置两个从机【192.168.119.150、192.168.119.151】的 keepalived 配置文件。

#使用查找命令找到配置文件,文件路径【/etc/keepalived/keepalived.conf】
find / -name keepalived.conf

#使用 vim 命令打开配置文件
vim /etc/keepalived/keepalived.conf

#写入以下配置内容-----------------------------
! Configuration File for keepalived
global_defs {
    router_id LVS_MASTER
}

vrrp_script chk_haproxy {
    script "/etc/keepalived/haproxy_check.sh" # 检测 haproxy 状态的脚本路径
    interval 2 # 检测时间间隔
    weight 2 # 如果条件成立,权重+2
}

vrrp_instance VI_1 {
    state BACKUP  #该参数可以指定为master或者backup的一种,master为工作状态,backup为备用状态(指定两个从服务器中keepalived的主从关系,一个配置成MASTER,一个配置成BACKUP)。
    interface ens33  # 该参数指定运行VIP的网卡,即virtual_ipaddress虚拟IP的网卡。
    virtual_router_id 79  #该参数指定了VRRP用户组,互为主备的设备应当处于同一个VRRP用户组内,因此该参数应该配置相同(我两个从服务器算是一组,所以这个ID两个从服务器是一样的)。
    priority 90  #该参数指定本节点keepalived的优先级,用来选举master的,要成为 master,该项取值范围是1-255(在此范围之外会被识别成默认值100),一般master高于backup。
    advert_int 1  #该参数指定master与backup进行同步检查的时间间隔。默认1s
    nopreempt
    authentication {
        auth_type PASS  #权限认证配置
        auth_pass 1234
    }
    virtual_ipaddress {
        192.168.119.201  #虚拟IP地址
    }
    track_script {
        chk_haproxy
    }
}

启动所有服务器中的 keepalived 

#启动
keepalived -f /etc/keepalived/keepalived.conf

4.2.5、编写 haproxy 状态检测脚本,脚本的位置在【/etc/keepalived/haproxy_check.sh】就是keepalived配置文件中的【vrrp_script chk_haproxy】项。

#!/bin/bash
START_HAPROXY="/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg" #haproxy启动命令
LOG_FILE="/usr/local/keepalived/log/haproxy-check.log" # 日志文件
HAPS=`ps -C haproxy --no-header |wc -l` # 检测haproxy的状态,0代表未启动,1已经启动
date "+%Y-%m-%d %H:%M:%S" >> $LOG_FILE #在日志文件当中记录检测时间
echo "check haproxy status" >> $LOG_FILE # 记录haproxy的状态
if [ $HAPS -eq 0 ];then #执行haproxy判断
  echo $START_HAPROXY >> $LOG_FILE #记录启动命令
  /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg #启动haproxy
  sleep 3
  if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
    echo "start haproxy failed, killall keepalived" >> $LOG_FILE
    killall keepalived
    service keepalived stop
  fi
fi

        注意:设置文件权限 chmod -R 755 haproxy_check.sh

5、测试

5.1、在windows电脑上打开DOS命令窗口,输入以下命令测试负载均衡。结果如下图,server_id的值在2和3之间来回响应,表示负载均衡配置成功。

#测试【192.168.119.150】服务器上的负载均衡命令
mysql -uslave -proot -P3307 -h192.168.119.150 -e "show variables like 'server_id'";

5.3、在 keepalived 配置文件中我们设置了一个虚拟IP用于对外的访问,所以现在把【5.1】步骤命令中的IP换成虚拟IP【192.168.119.201】后再测试是否能负载均衡。结果如下图,一样可以进行负载均衡的调度。

5.4、两个从机都安装了 haproxy 和 keepalived 实现了负载均衡和高可用。那么把【192.168.119.150】的虚拟机停机看看运行结果。结果如下图,通过虚拟IP【192.168.119.201】还是可以正常访问数据库,现在只能访问到一台MySQL了,【server_id=3】也就是【192.168.119.151】的服务器。这说明高可用配置也成功了。

#关停【192.168.119.150】的 mysql,模拟宕机
service mysql stop

5.5、现在我们再把【192.168.119.150】的虚拟机再运行起来,查看下效果。结果如下图,之前停机的服务又回到了负载均衡的队伍中。

6、总结

  本文章中主要介绍了负载均衡和高可用的相关知识点,以及实现所对应的工具,并且对工具的安装和配置进行了介绍。在安装和配置之前你首先要明白自己所要架构的体系和形式,这样你在搭建负载均衡和高可用的时候才思路清晰。

  本人也是在学习和摸索道路中,如文中有不恰当处,欢迎大家评论指出!!

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。