目录
写在前面
1、Haproxy简介
2、Haproxy的安装和基本配置信息
2.1、haproxy的安装
2.2haproxy的基本配置信息
2.2.1基本配置文件global参数
2.2.2基本配置文件proxys的相关参数
2.2.2.1 default的相关参数
2.2.2.2 frontend的相关配置
2.2.2.3 backend的相关配置
对于server配置参数的补充
3、haproxy热更新-socat
4、haproxy调度算法
4.1、静态算法
4.1.1、static-rrr:基于权重的轮询调度
4.1.2、first
4.2、动态算法
4.2.1、roundrobin
4.2.2、leastconn
4.3、其他算法
4.3.1、source
4.3.1.1、Source静态算法---map-base 取模法
4.3.1.2、一致性hash算法
4.3.2、uri
4.3.2.1、uri静态算法
4.3.2.2、uri动态算法
4.3.3、url_param
4.3.3.1、url_param静态算法
4.3.3.2、url_param动态算法
4.3.4、hdr
4.3.4.1、hdr静态算法
4.3.4.2、hdr动态算法
6、HAProxy状态页
7、IP透传
8、ACL
9、错误日志定向
10、四层tcp负载均衡数据库
11、Haproxy https实现
写在最后
慢启动
hash取模算法
了解haproxy之前希望你能了解一定的负载均衡原理,这会对你了解haproxy有不小的帮助
详情请见http://t.csdnimg.cn/ijWYa
注:所有不清楚的知识点都可以在写在最后目录下找到
HAProxy是法国开发者 威利塔罗(Willy Tarreau) 在2000年使用C语言开发的一个开源软件是一款具备高并发(万级以上)、高性能的TCP和HTTP负载均衡器,支持基于cookie的持久性(不怎么用的到了),自动故障切换(这个很棒),支持正则表达式及web状态统计,支持动态更改服务器状态。 社区版网站:http://www.haproxy.org
主机 | IP | 角色 |
haproxy | 192.168.220.100 | 负载均衡调度器 |
server1 | 192.168.220.150 | db1 |
server2 | 192.168.220.200 | db2 |
这里haproxy采用的安装方式是配置rhel9的本地源,直接从本地源里下载
#创建挂载目录 mkdir /rhel9 #将挂载命令写入开机自启文件中,并授予该文件执行权限 echo "mount /dev/cdrom /rhel9" > /etc/rc.d/rc.local chmod +x /etc/rc.d/rc.local #写一个repl9的repo文件 [AppStream] name=AppStream baseurl=file:///rhel9/AppStream/ #本地yum源的配置 gpgcheck=0 [BaseOS] name=BaseOS baseurl=file:///rhel9/BaseOS/ gpgcheck=0 #下载haproxy yum install haproxy -y
haproxy配置文件:/etc/haproxy/haproxy.cfg
#打开配置文件 vim /etc/haproxy/haproxy.cfg global #全局参数 log 127.0.0.1 local2 #日志存放目录,具体后续在/etc/rsyslog.conf chroot /var/lib/haproxy #锁定运行目录 pidfile /var/run/haproxy.pid #指定Pid所在文件 maxconn 4000 #指定最大连接数,建议十万 user haproxy #指定用户 group haproxy #指定用户组 nbproc 2 #开启的haproxy的进程数,默认进程数为1 # nbthread 1 #指定每个haproxy进程开启的线程数,默认为每个进程一个线程,不能和nbproc共存 cpu-map 1 0 #将第一个进程绑定至0号CPU maxsslconn 100000 #haproxy进程ssl最大连接数,用于https场景下 maxconnrate 100 #每个进程每秒创建的最大连接数量 daemon #以守护进程运行 # turn on stats unix socket stats socket /var/lib/haproxy/stats #套接字文件 # utilize system-wide crypto-policies ssl-default-bind-ciphers PROFILE=SYSTEM ssl-default-server-ciphers PROFILE=SYSTEM
defaults mode http #七层负载均衡,tcp为四层 log global #日志,根据global参数 option httplog #log选项,采集http会话相关的各种属性值 #包括HTTP请求、会话状态、源地址、连接时间等 option http-keep-alive #开启与客户端的会话保持 option dontlognull #log选项,不采集空会话连接日志 option http-server-close #等待客户端完整HTTP请求的时间,此处为等待10s option forwardfor except 127.0.0.0/8 #透传客户端真实IP至后端web服务器,除lo外 option redispatch #当连接的服务器挂掉后,强制连接其他健康的server retries 3 #连接后端服务器最多尝试次数 timeout http-request 10s #等待客户端请求完全被接收和处理的最长时间 timeout queue 1m #设置删除连接和客户端收到503信息前的等待时间 timeout connect 10s #设置等待服务器连接成功的时间 timeout client 1m #设置允许客户端处于非活动状态的时间 timeout server 1m #设置服务端超时的时间 timeout http-keep-alive 10s #session 会话保持超时时间 #此时间段内会转发到相同的后端服务器 timeout check 10s #指定后端服务器健康检查的超时时间 maxconn 3000 #指定一个haproxy进程最大的连接数 errorfile 503 /etc/errorpage/503.http #配置503,当报503时,使其访问定义的文件 errorloc 503 https://www.baidu.com #配置503,当报503时,使其重定向到百度
default中这三个时间不好区分理解,采用画图方式理解
- option http-server-close
- timeout http-request
- timeout connect
frontend webcluster #名字随意起 bind *:80 #监听的主机和端口 *表示任意,格式是IP:Port mode http #采用几层负载均衡 use_backend webcluster-host #调用的backend
backend webcluster-host #名字需要与frontend使用的backend名称一致 balance roundrobin #采用的算法是轮询 server web1 192.168.220.150:80 #后端服务器主机 server web2 192.168.220.200:80 #后端服务器主机
2.2.2.4 listen的相关配置对于server配置参数的补充
- check:对指定real进行健康状态检查,如果不加此设置,默认不开启检查
- addr:可指定的健康状态监测IP,可以是专门的数据网段,减少业务网络的流量
- inter
:健康状态检查间隔时间,默认2s - weight
:默认为1,最大值为256,0(状态为蓝色)表示不参与负载均衡,但仍接受持久连接 - maxconn
:当前后端server的最大并发连接数 - redirect prefix http://www.baidu.com/:将请求临时(302)重定向至其它URL,只适用http模式
- disabled:将后端服务器标记为不可用状态,即维护状态,除了持久模式
- backup:将后端服务器标记为备份状态,只在所有非备份主机down机时提供服务,类似Sorry Server
- rise
:后端服务器从下线恢复上线的检查的连续有效次数,默认为2 - fall
:后端服务器从线上转为线下的检查的连续失效次数,默认为3 - port:指定的健康状态监测端口
listen webserver_80 bind *:80 mode http balance roundrobin server web1 192.168.220.150:80 check inter 2 fall 2 rise 3 server web2 192.168.220.200:80 check inter 2 fall 2 rise 3 weight 2 server web3 192.168.220.100:8080 backu
我的haproxy配置
使用工具socat需要先在下载并修改haproxy配置文件,以下配置是socat热更新单进程的配置
socat动态热更新多进程
socat命令(重启失效)
- 查看帮助:echo "help" | socat stdio /var/lib/haproxy/stats
- 查看haproxy状态:echo "show info" | socat stdio /var/lib/haproxy/stats
- 查看集群状态:echo "show servers state" | socat stdio /var/lib/haproxy/stats
- 查看集群权重:echo "get weight myhaback/web1" | socat stdio /var/lib/haproxy/stats
- 设置集群权重:echo "set weight myhaback/web2 2" | socat stdio /var/lib/haproxy/stats
- 下线后端服务:echo "disable server myhabck/web1" | socat stdio/var/lib/haproxy/stats
- 上线后端服务:echo "enable server myhaback/web1" socat stdio /var/lib/haproxy/stats
静态算法:按照事先定义好的规则轮询公平调度,不关心后端服务器的当前负载、连接数和响应速度 等,且无法实时修改权重(只能为0和1,不支持其它值),只能靠重启HAProxy生效。
配置如下
验证:按照权重分配,访问9次,应是三次web1,6次web2
配置如下
验证,如是first,那么全部的访问都应打向web1
基于后端服务器状态进行调度适当调整,新请求将优先调度至当前负载较低的服务器,权重可以在haproxy运行时动态调整无需重启
先看负载,再看权重
相同权重,不同负载,选负载低的
不同权重,相同负载,选权重高的
不同权重,不同负载,选负载低的
配置如下
验证:其效果应与静态算法static-rr 调度算法效果一致,三次web1,6次web2
leastconn加权的最少连接的动态
配置如下
验证,可动态改变权重,但是调度与权重无关,所以对于短连接来说,效果应近似于两个主机权重皆为1的静态调度算法static-rr
没想到短链接leastconn的效果完全与两个主机权重皆为1的静态调度算法static-rr的效果一致
其它算法即可作为静态算法,又可以通过选项成为动态算法
源地址hash,基于用户源地址hash并将请求转发到后端服务器,后续同一个源地址请求将被转发至同一 个后端web服务器。
此方式当后端服务器数据量发生变化时,会导致很多用户的请求转发至新的后端服务器,默认为静态方式,但是可以通过hash-type支持的选项更改
适用场景:这个算法一般是在不插入Cookie的TCP 模式下使用,也可给拒绝会话cookie的客户提供最好的会话粘性,适用于session会话保持但不支持 cookie和缓存的场景 源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash
验证:因源地址不变,打向的后端服务器也不会变,所以访问全与第一次访问一致
map-based:取模法,对source地址进行hash计算,再基于服务器总权重的取模,最终结果决定将此请求转发至对应的后端服务器。 此方法是静态的,不支持在线调整权重,不支持慢启动,可实现对后端服务器均衡调度 缺点是当服务器的总权重发生变化时,即有服务器上线或下线,都会因总权重发生变化而导致调度结果整体改变 而且通常为了节约IT成本,一个公司往往只会有1个公网IP,那么当这个公司内用户访问服务器时,所有的流量都会打向同一个服务器,导致负载失衡。
配置如下
frontend webcluster bind *:80 mode http use_backend webcluster-host backend webcluster-host balance source server web1 192.168.220.150:80 check inter 2 fall 2 rise 3 weight 2 server web2 192.168.220.200:80 check inter 2 fall 2 rise 3 weight 1
验证:不同的主机去访问haproxy服务器,根据总权重3,hash会将其hash(IP)之后对总权重3 取模,将其分向后端对应的服务器,且若IP没有改变,服务器没有下线,则流量流向不会变
一致性哈希,当服务器的总权重发生变化时,对调度结果影响是局部的,不会引起大的变动;该hash算法是动态的,支持使用 socat等工具进行在线权重调整,支持慢启动 算法:
- 后端服务器哈希环点keyA=hash(后端服务器虚拟ip)%(2^32)
- 客户机哈希环点key1=hash(client_ip)%(2^32) 得到的值在[0---4294967295]之间
- 将keyA和key1都放在hash环上,将用户请求调度到离key1最近的keyA对应的后端服务器
hash环在服务器节点较少的情况下或许会发生hash环偏斜问题
hash环偏斜问题:Hash 环偏斜指的是在将数据或任务映射到 Hash 环上时,分布不均匀,导致某些节点承担了过多的负载,而其他节点负载较轻。
一致性hash示意图 后端服务器在线与离线的调度方式配置如下
frontend webcluster bind *:80 mode http use_backend webcluster-host backend webcluster-host balance source hash-type consistent server web1 192.168.220.150:80 check inter 2 fall 2 rise 3 weight 2 server web2 192.168.220.200:80 check inter 2 fall 2 rise 3 weight 1
uri仅支持http应用层,不支持tcp传输层
基于对用户请求的URI的左半部分或整个uri做hash,再将hash结果对总权重进行取模后 根据最终结果将请求转发到后端指定服务器,适用于后端是缓存服务器场景,默认是静态算法,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash
:// : @ : / ; ? # :协议 :用户 :密码 :域名或IP :端口 :执行的命令 :字段 :分段,分片,类似于索引左半部分:/ ; uri:/ ; ? #
配置如下
haproxy
RS1
RS2
验证结果
配置如下
haproxy
url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算,并由服务器总权重相除以后派发至某挑出的服务器,后端搜索同一个数据会被调度到同一个服务器,多用与电商通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个real server,如果无没key,将按roundrobin算法 注:url_param指的是url组成中的“;? #”部分
配置如下
listen webcluster bind *:80 mode http balance url_param name,id server webserver1 192.168.220.150:80 weight 1 check inter 3s fall 3 rise 5 server webserver2 192.168.220.200:80 weight 1 check inter 3s fall 3 rise 5
配置如下
listen webcluster bind *:80 mode http balance url_param name, id hash-type consistent server webserver1 192.168.220.150:80 weight 1 check inter 3s fall 3 rise 5 server webserver2 192.168.220.200:80 weight 1 check inter 3s fall 3 rise 5
针对用户每个http头部(header)请求中的指定信息做hash,此处由 name 指定的http首部将会被取出并做hash计算, 然后由服务器总权重取模以后派发至某挑出的服务器,如果无有效值,则会使用默认的轮询调度。
配置如下
配置如下
cookie仅支持http模式,不支持tcp模式
cookie value:为当前server指定cookie值,实现基于cookie的会话黏性,相对于基于 source 地址hash调度算法对客户端的粒度更精准,但同时也加大了haproxy负载,目前此模式使用较少, 已经被session共享服务器代替
配置如下
insert:插入新的cookie,默认不插入
nocache:不允许中间缓存服务器进行缓存
indirect:若客户端已有cookie值,则不会再发送cookle信息
通过web界面,显示当前HAProxy的运行状态
配置
listen stats:
bind *:8200 #监听的主机和端口
mode http #采用http模式
stats enable #基于默认的参数启用stats page
stats hide-version # 将状态页中haproxy版本隐藏
stats refresh 5 # stats page 重刷新时间
log global # 日志参考全局参数
stats uri /stats # 自定义stats page uri 默认为:/haproxy?stats
stats auth admin:admin # 认证账号和密码,可多个,每行指定一个用户,默认无认证 测试 登录页信息解析后端服务器内容详述
- pid = 1709 (process #2, nbproc = 2, nbthread = 1)
#pid为当前pid号,process为当前进程号,nbproc和nbthread为一共多少进程和每个进程多少个线程- uptime = 0d 0h01m06s
#启动了多长时间- system limits: memmax = unlimited; ulimit-n = 8037
#最大内存;最大打开文件数- maxsock = 8037; maxconn = 4000; maxpipes = 0
#最大socket连接数;单进程最大连接数;最大管道数- current conns = 1; current pipes = 0/0; conn rate = 0/sec; bit rate = 0.000 kbps
#当前连接数;当前管道连接数;当前连接速率;- Running tasks: 0/21; idle = 92 %
运行的任务;当前空闲率- active UP: #在线服务器
- backup UP: #标记为backup的服务器
- active UP, going down: #监测未通过正在进入down过程
- backup UP, going down: #备份服务器正在进入down过程
- active DOWN, going up: #down的服务器正在进入up过程
- backup DOWN, going up: #备份服务器正在进入up过程
- active or backup DOWN: #在线的服务器或是backup的服务器已经转换成了down状态
- active or backup SOFT STOPPED for maintenance #人为将服务器weight改0,软下线
- not checked: #标记为不监测的服务器
- active or backup DOWN for maintenance (MAINT) #人为将active或backup下线
具有负载均衡架构的怎么分析真实数据来源----IP透传
7.1、七层IP透传
haproxy配置
apache配置
日志参数自取地:%{X-Forwarded-For}i
apache效果
nginx配置
日志参数自取地:
- $proxy_add_x_forwarded_for: 包括客户端IP和中间经过的所有代理的IP
- $http_x_forwarded_For: 只有客户端IP
nginx效果
7.2、四层IP透传
- 注:apache不支持四层IP透传
haproxy配置
nginx配置
日志参数自取地:"$proxy_protocol_addr"
nginx效果
访问控制列表ACL(Access Control Lists) 是一种基于包过滤的访问控制技术 它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配)即对接收到的报文进行匹配和过滤,基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作,比如允许其通过或丢弃。
#用acl来定义或声明一个acl acl[flags] [operator] [ ] acl 名称 匹配规范 匹配模式 具体操作符 操作对象类型注:[]里内容可写可不写,<>里内容必须写
acl rule path_end -m sub /a #ACL名称,可以使用大字母A-Z、小写字母a-z、数字0-9、冒号:、点.、中横线和下划线,并且严格区分大小写,比如:my_acl和My_Acl就是两个完全不同的acl5.8.1.2 ACL-criterion8.3、ACL-criterion 匹配规则
匹配规则可以分为几个模块:hdr、base、path、url、src,dst
hdr模块
- hdr string,提取在一个HTTP请求报文的首部
- hdr([
[, ]]):完全匹配字符串,header的指定信息, 表示在多值中使用的值的出现次数 - hdr_beg([
[, ]]):前缀匹配,header中指定匹配内容的begin - hdr_end([
[, ]]):后缀匹配,header中指定匹配内容end - hdr_dom([
[, ]]):域匹配,header中的dom(host) - hdr_dir([
[, ]]):路径匹配,header的uri路径 - hdr_len([
[, ]]):长度匹配,header的长度匹配 - hdr_reg([
[, ]]):正则表达式匹配,自定义表达式(regex)模糊匹配 - hdr_sub([
[, ]]):子串匹配,header中的uri模糊匹配 模糊匹配c 报文中a/b/c也会匹配
base模块
base : string 返回第一个主机头和请求的路径部分的连接即: / ;
- base : exact string match
- base_beg : prefix match
- base_dir : subdir match
- base_dom : domain match
- base_end : suffix match
- base_len : length match
- base_reg : regex match
- base_sub : substring match
path模块
path : string 提取请求的URL路径,即/;
- path : exact string match
- path_beg : prefix match #请求的URL开头,如/static、/images、/img、/css
- path_end : suffix match #请求的URL中资源的结尾,如 .gif .png .css .js .jpg .jpeg
- path_dom : domain match
- path_dir : subdir match
- path_len : length match
- path_reg : regex match
- path_sub : substring match
url模块 url : string #提取请求中的整个URL。 url :exact string match url_beg : prefix match url_dir : subdir match url_dom : domain match url_end : suffix match url_len : length match url_reg : regex match url_sub : substring match
其余
- dst #目标IP
- dst_port #目标PORT
- src #源IP
- src_port #源PORT
- -i 不区分大小写
- -m 使用指定的正则表达式匹配方法
- -n 不做DNS解析
- -u 禁止acl重名,否则多个同名ACL匹配或关系
整数比较:eq、ge、gt、le、lt 字符比较: - exact match (-m str) :字符串必须完全匹配模式 - substring match (-m sub) :在提取的字符串中查找模式,如果其中任何一个被发现,ACL将匹配 - prefix match (-m beg) :在提取的字符串首部中查找模式,如果其中任何一个被发现,ACL将匹配 - suffix match (-m end) :将模式与提取字符串的尾部进行比较,如果其中任何一个匹配,则ACL进行匹配 - subdir match (-m dir) :查看提取出来的用斜线分隔(“/")的字符串,如其中任一个匹配,则ACL进行匹配 - domain match (-m dom) :查找提取的用点(“.")分隔字符串,如果其中任何一个匹配,则ACL进行匹配
The ACL engine can match these types against patterns of the following types : - Boolean #布尔值 - integer or integer range #整数或整数范围,比如用于匹配端口范围 - IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24 - string--> www.timinglee.org exact #精确比较 substring #子串 suffix #后缀比较 prefix #前缀比较 subdir #路径, /wp-includes/js/jquery/jquery.js domain #域名,www.timinglee.org - regular expression #正则表达式 - hex block #16进制
逻辑处理 与:隐式(默认)使用 或:使用“or" 或 “||"表示 否定:使用 "!" 表示 多个ACL调用方式 if valid_src valid_port #与关系,ACL中A和B都要满足为true,默认为与 if invalid_src || invalid_port #或,ACL中A或者B满足一个为true if ! invalid_src #非,取反,不满足ACL才为true
配置如下
验证成果
配置如下
验证
配置如下
验证
配置如下
验证
配置如下
验证
配置如下
RS1
RS2
验证
先将所有的后端服务器全部关闭
#第一个errorfile #在haproxy配置文件中default模块中添加一行 errorfile 503 /etc/errorpage/503.http #目录自己创建,错误日志自己创建自己写 #创建错误日志 cp /usr/share/haproxy/503.http /etc/errorpage vim /etc/errorpage/503.http #修改其内容为自己想修改的 HTTP/1.0 503 Service Unavailable Cache-Control: no-cache Connection: close Content-Type: text/html;charset=UTF-8 503报文
没有灵魂的人就是行尸走肉
验证
#第二个errorloc #在haproxy配置文件default模块中添加一行 errorloc 503 https://www.baidu.com
验证
环境需求
主机 | IP | 角色 |
haproxy | 192.168.220.100 | 负载均衡调度器 |
server1 | 192.168.220.150 | db1 |
server2 | 192.168.220.200 | db2 |
haproxy
vim /etc/haproxy/haproxy.cfg #在最下方写入内容 listen dbservers bind *:3306 #监听任何主机的3306端口 mode tcp #使用四层负载均衡 balance static-rr #使用静态轮询算法 server db1 192.168.220.150:3306 check inter 2 fall 2 rise 3 #服务器1 server db2 192.168.220.200:3306 check inter 2 fall 2 rise 3 #服务器2 #保存并退出 :x #重启haproxy,重启之前需要将server1和server2配置好 systemctl restart haproxy
server1
#安装数据库 yum install mariadb-server -y #修改配置文件以区分集群中数据库 vim /etc/my.cnf.d/mariadb-server.cnf #在[mysqld]下增加一行内容 server-id=1 #保存并退出 :x #启动数据库 systemctl enable --now mariadb
server2
#安装数据库 yum install mariadb-server -y #修改配置文件以区分集群中数据库 vim /etc/my.cnf.d/mariadb-server.cnf #在[mysqld]下增加一行内容 server-id=2 #保存并退出 :x #启动数据库 systemctl enable --now mariadb
最后在windows上验证数据库负载均衡是否成功 ,效果如下
配置过程
配置证书
将证书和私钥都放进一个文件
配置haproxy配置文件
验证
慢启动
慢启动是指在服务器刚刚启动上不会把他所应该承担的访问压力全部给它,而是先给一部分,当没 问题后在给一部分
hash取模算法
- 10对3取模 -> 10=3×3+1 -> 10%3=1
- 2对5取模 -> 2=5×0+2 -> 2%5=2
- 34对6取模 -> 34=6×5+4 -> 34%6=4