LVS+Keepalived群集

创始人

2024-02-09 15:08:27

一.keeepalived工具介绍

1.1 专为LVS和HA设计的一款健康检查工具

1.2 Keepalived实现原理剖析

1.3 VRRP工作过程

1.4 Keepalived，VRRP及其工作原理

1.5 Keepalived体系主要模块及其作用

二、LVS+Keepalived 高可用群集的搭建步骤

1、配置负载调度器（主、备相同；192.168.160.30；192.168.160.31）

1.1 配置keeplived（主、备DR 服务器上都要设置）

1.2 配置分发策略（keepalived配置好后，可以不用再配ipvsadm 分发策略）

1.3 调整内核 proc 响应参数，关闭linux内核的重定向参数响应

2、部署共享存储（NFS服务器：192.168.160.70）

3、配置节点服务器（192.168.160.50；192.168.160.60）

4、测试验证

三、实例操作：LVS+Keepalived 高可用群集

1、配置负载调度器（主、备相同；192.168.160.30；192.168.160.40）

1.1 关闭防火墙并安装ipvsadm和keepalived工具

1.2 配置keeplived（主、备DR 服务器上都要设置）

1.3 调整内核 proc 响应参数，关闭linux内核的重定向参数响应

2、部署共享存储（NFS服务器：192.168.160.70）

3、配置节点服务器（192.168.160.50；192.168.160.60）

4、测试验证

一.keeepalived工具介绍

1.1 专为LVS和HA设计的一款健康检查工具

1. 支持故障自动切换(Failover)
2. 支持节点健康状态检查(Health Checking)

判断LVS负载调度器、节点服务器的可用性，当master主机出现故障及时切换到backup 节点保证业务正常，当master故障主机恢复后将其重新加入群集并且业务重新切换回master节点。

1.2 Keepalived实现原理剖析

Keepalived采用VRRP热备份协议实现Linux服务器的多机热备功能

VRRP(虚拟路由冗余协议)是针对路由器的一种备份解决方案

1. 由多台路由器组成一个热备组，通过共用的虚拟IP地址对外提供服务
2. 每个热备组内同时只有一台主路由器提供服务，其他路由器处于冗余状态
3. 若当前在线的路由器失效，则其他路由器会根据设置的优先级自动接替虚拟IP地址，继续提供服务

1.3 VRRP工作过程

1. 选举Master，比较优先级，高的为Master，若优先级相同无Master时，比较接口IP地址，大的为Master，Master设备发送ARP报文，承担报文转发工作；

2. 状态维持，Master设备周期发送通告报文，公布配置信息和工作状态；

3. Backup设备根据收到的通告报文判断Master设备是否工作正常，如果Master设备主动放弃 Master地位时，会发送优先级为0的通告报文，Backup设备收到后会快速切换成Master设备或者定时器超时后Backup设备认为Master设备无法正常工作，会切换状态为Master。

1.4 Keepalived，VRRP及其工作原理

1. Keepalived是一个基于VRRP协议来实现的LVS服务高可用方案，可以解决静态路由出现的单点故障问题。

2. 在一个LVS服务集群中通常有主服务器（MASTER）和备份服务器（BACKUP）两种角色的服务器，但是对外表现为一个虚拟IP。主服务器会发送VRRP通告信息给备份服务器，当备份服务器收不到VRRP消息的时候，即主服务器异常的时候，备份服务器就会接管虚拟IP，继续提供服务，从而保证了高可用性

1.5 Keepalived体系主要模块及其作用

keepalived体系架构中主要有三个模块，分别是core、check和vrrp。

core模块：为keepalived的核心，负责主进程的启动、维护及全局配置文件的加载和解析。
vrrp模块：是来实现VRRP协议的。
check模块：负责健康检查，常见的方式有端口检查及URL检查

二、LVS+Keepalived 高可用群集的搭建步骤

环境准备

主DR 服务器： 192.168.160.30
备DR 服务器： 192.168.160.40
Web 服务器1： 192.168.160.50
Web 服务器2： 192.168.160.60
nfs 服务器： 192.168.160.70
客户端：192.168.160.1
vip：192.168.160.31

1、配置负载调度器（主、备相同；192.168.160.30；192.168.160.31）

systemctl stop firewalld.service
setenforce 0yum -y install ipvsadm keepalived
modprobe ip_vs
cat /proc/net/ip_vs

1.1 配置keeplived（主、备DR 服务器上都要设置）

cd /etc/keepalived/
cp keepalived.conf keepalived.conf.bak
vim keepalived.conf
......
global_defs {                       #定义全局参数
--10行--修改，邮件服务指向本地smtp_server 127.0.0.1
--12行--修改，指定服务器（路由器）的名称，主备服务器名称须不同，主为LVS_01，备为LVS_02router_id LVS_01
}vrrp_instance VI_1 {                #定义VRRP热备实例参数
--20行--修改，指定热备状态，主为MASTER，备为BACKUPstate MASTER
--21行--修改，指定承载vip地址的物理接口interface ens33
--22行--修改，指定虚拟路由器的ID号，每个热备组保持一致virtual_router_id 10
--23行--修改，指定优先级，数值越大优先级越高，主为100，备为99priority 100advert_int 1                    #通告间隔秒数(心跳频率)authentication {                #定义认证信息,每个热备组保持一致auth_type PASS              #认证类型
--27行--修改，指定验证密码，主备服务器保持一致auth_pass abc123}virtual_ipaddress {             #指定群集vip地址192.168.160.31}
}
--36行--修改，指定虚拟服务器地址(VIP)、端口，定义虚拟服务器和Web服务器池参数
virtual_server 192.168.160.31 80 {delay_loop 6                    #健康检查的间隔时间(秒)lb_algo rr                      #指定调度算法，轮询(rr)
--39行--修改，指定群集工作模式，直接路由(DR)lb_kind DRpersistence_timeout 50          #连接保持时间(秒)protocol TCP                    #应用服务采用的是 TCP协议
--43行--修改，指定第一个Web节点的地址、端口real_server 192.168.160.50 80 {weight 1                    #节点的权重
--45行--删除，添加以下健康检查方式       TCP_CHECK {connect_port 80         #添加检查的目标端口connect_timeout 3       #添加连接超时(秒)nb_get_retry 3          #添加重试次数delay_before_retry 4    #添加重试间隔}}real_server 192.168.160.60 80 {     #添加第二个 Web节点的地址、端口weight 1TCP_CHECK {connect_port 80connect_timeout 3nb_get_retry 3delay_before_retry 4}}
##删除后面多余的配置##
}systemctl start keepalived
ip addr show dev ens33              #查看虚拟网卡vip

1.2 配置分发策略（keepalived配置好后，可以不用再配ipvsadm 分发策略）

ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl start ipvsadmipvsadm -C
ipvsadm -A -t 192.168.160.31:80 -s rr
ipvsadm -a -t 192.168.160.31:80 -r 192.168.160.50:80 -g
ipvsadm -a -t 192.168.160.31:80 -r 192.168.160.60:80 -g
ipvsadmipvsadm -ln
ipvsadm-save > /etc/sysconfig/ipvsadm#如果没有vip的分发策略。则重启keepalived 服务

1.3 调整内核 proc 响应参数，关闭linux内核的重定向参数响应

vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0sysctl -p

2、部署共享存储（NFS服务器：192.168.160.70）

systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0yum install nfs-utils rpcbind -y
systemctl start nfs.service
systemctl start rpcbind.service
systemctl enable nfs.service
systemctl enable rpcbind.servicemkdir /opt/mcl /opt/long
chmod 777 /opt/mcl /opt/longvim /etc/exports
/usr/share *(ro,sync)
/opt/mcl 192.168.160.0/24(rw,sync)
/opt/long 192.168.160.0/24(rw,sync)--发布共享---
exportfs -rv

3、配置节点服务器（192.168.160.50；192.168.160.60）

systemctl stop firewalld
setenforce 0yum -y install httpd
systemctl start httpdvim /etc/sysconfig/network-scripts/ifcfg-lo:0
DEVICE=lo:0
ONBOOT=yes
IPADDR=192.168.160.31
NETMASK=255.255.255.255service network restart 或 systemctl restart network
ifup lo:0
ifconfig lo:0
route add -host 192.168.160.31 dev lo:0vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2sysctl -p
--192.168.160.50---
mount.nfs 192.168.160.70:/opt/mcl /var/www/html--192.168.2.105---
mount.nfs 192.168.160.70:/opt/long /var/www/html