首页 > > 网络编程 > Mysql >

搭建MySQL高可用负载均衡集群

2018-06-17 23:38:06来源：未知 阅读 ()

新老客户大回馈,云服务器低至5折

1、简介

　　使用MySQL时随着时间的增长，用户量以及数据量的逐渐增加，访问量更是剧增，最终将会使MySQL达到某个瓶颈，那么MySQL的性能将会大大降低。这一结果也不利于软件的推广。

　　那么如何跨过这个瓶颈，提高MySQL的并发量呢？方法有很多，分布式数据库、读写分离、高可用负载均衡、增加缓存服务器等等。之前的文章里已经介绍了读写分离的方案了，接下来我将讲解MySQL高可用负载均衡这一方法。

　　其中实现高可用负载均衡的方法有很多，例如LVS+keepalived组合实现、haproxy+keepalived组合实现等等，这里我们采用haproxy+keepalived组合实现MySQL高可用负载均衡这一技术。

 

2、基本环境

四台linux虚拟主机

Linux版本CentOS6.6

MySQL 5.5（已安装好）

haproxy-1.5.14

keepalived-1.2.19

IP：192.168.95.11（mysql1）、192.168.95.12（mysql2）、192.168.95.13（haproxy+keepalived）、192.168.95.14（haproxy+keepalived）、192.168.95.55（vip）

 

3、配置MySQL主主复制

详细配置步骤可以参考这篇文章：

http://www.cnblogs.com/phpstudy2015-6/p/6485819.html#_label7

以下简要介绍一下mysql的主主复制：

何为主主复制？就是两个mysql都能读能写，数据记录通过二进制传达给对方从而保持数据的一致性。

（192.168.95.11主从复制+192.168.95.12主从复制==192.168.95.11、192.168.95.12主主复制）

　　因此主主复制中必须要解决的事情就是自增主键的问题。如果mysql1主键id增加到12了，此时二进制数据还没到达mysql2，那么mysql2恰好要插入数据，那么新数据主键id也是12，那不就是乱套了么！解决这一问题我们可以直接更改MySQL中的配置文件即可。

1）、更改配置文件

--192.168.95.11：MySQL
server-id=11   #任意自然数n，只要保证两台MySQL主机不重复就可以了。
log-bin=mysql-bin   #开启二进制日志
auto_increment_increment=2   #步进值auto_imcrement。一般有n台主MySQL就填n
auto_increment_offset=1   #起始值。一般填第n台主MySQL。此时为第一台主MySQL
binlog-ignore=mysql   #忽略mysql库【我一般都不写】
binlog-ignore=information_schema   #忽略information_schema库【我一般都不写】
replicate-do-db=aa   #要同步的数据库，默认所有库
--192.168.95.12：MySQL
server-id=12
log-bin=mysql-bin
auto_increment_increment=2
auto_increment_offset=2
replicate-do-db=aa

配置好后重启MySQL

2）、配置192.168.95.11主从复制

　　1、在192.168.95.12中创建一个192.168.95.11主机中可以登录的MySQL用户

      用户：mysql11

      密码：mysql11

mysql>GRANT REPLICATION SLAVE ON *.* TO ‘mysql11’@’192.168.95.11’ IDENTIFIED BY ’mysql11’;
mysql>FLUSH PRIVILEGES;

　　2、查看192.168.95.12二进制日志

mysql> show master status;

 

　　3、告知二进制文件名与位置

mysql> change master to
    -> master_host='192.168.95.11',
    -> master_user='mysql11',
    ->master_password='mysql11',
    ->master_log_file='mysql-bin.000097',
    -> master_log_pos=107;

　　4、查看结果

mysql> slave start;
mysql> show slave status\G

 

配置主从复制成功

3）、配置192.168.95.12主从复制

同上

配置主从复制成功。

 

4、中间件简述

　　4.1、Haproxy介绍

Haproxy是一个开源的高性能的反向代理或者说是负载均衡服务软件之一，它支持双机热备、虚拟主机、基于TCP和HTTP应用代理等功能。其配置简单，而且拥有很好的对服务器节点的健康检查功能（相当于keepalived健康检查），当其代理的后端服务器出现故障时，Haproxy会自动的将该故障服务器摘除，当服务器的故障恢复后Haproxy还会自动将RS服务器。

HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中， 同时可以保护你的web服务器不被暴露到网络上。

Haproxy软件引入了frontend，backend的功能，frontend（acl规则匹配）可以根据任意HTTP请求头做规则匹配，然后把请求定向到相关的backend（server pools等待前端把请求转过来的服务器组）。通过frontend和backup，我们可以很容易的实现haproxy的7层代理功能，haproxy是一款不可多得的优秀代理服务软件。

　　4.2、keepalived介绍

keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。

虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了。

keepalived主要有三个模块，分别是core、check和vrrp。core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check负责健康检查，包括常见的各种检查方式。vrrp模块是来实现VRRP协议的。

 

5、中间件的安装与配置（haproxy、keepalived）

百度云下载：http://pan.baidu.com/s/1qYoCjDE  密码：7cef

　　5.1、安装haproxy

在192.168.95.13、192.168.95.14安装haproxy（一模一样安装）

　　1）、编译安装haproxy

# tar -zxvf haproxy-1.5.14.tar.gz
# cd haproxy-1.5.14
# make TARGET=linux26 ARCH=x86_64 
# make install SBINDIR=/usr/sbin/ MANDIR=/usr/share/man/ DOCDIR=/usr/share/doc/

 

注意：

1、为什么不用configure，请看下图。haproxy-1.5.14已经存在Makefile文件了。

2、make的时候，target以及arch需要根据自己的linux主机设置

3、make install的时候我增加了一些额外选项。这可加可不加由自己配置，不加的话将会按默认路径安装，请看下图。

　　2）、提供启动脚本

将haproxy这个启动脚本放在/etc/init.d/文件夹下，以便我们可以直接service启动它

【注意】：此启动脚本仅仅适合我以上的安装路径。假若安装路径不同，则需要进行相应的修改方可使用。

#!/bin/sh
#
# haproxy
#
# chkconfig:   - 85 15
# description:  HAProxy is a free, very fast and reliable solution \
#               offering high availability, load balancing, and \
#               proxying for TCP and  HTTP-based applications
# processname: haproxy
# config:      /etc/haproxy/haproxy.cfg
# pidfile:     /var/run/haproxy.pid

# Source function library.
. /etc/rc.d/init.d/functions

# Source networking configuration.
. /etc/sysconfig/network

# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0

exec="/usr/sbin/haproxy"
prog=$(basename $exec)

[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog

cfgfile=/etc/haproxy/haproxy.cfg
pidfile=/var/run/haproxy.pid
lockfile=/var/lock/subsys/haproxy

check() {
    $exec -c -V -f $cfgfile $OPTIONS
}

start() {
    $exec -c -q -f $cfgfile $OPTIONS
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi

    echo -n $"Starting $prog: "
    # start it up here, usually something like "daemon $exec"
    daemon $exec -D -f $cfgfile -p $pidfile $OPTIONS
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}

stop() {
    echo -n $"Stopping $prog: "
    # stop it here, often "killproc $prog"
    killproc $prog
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}

restart() {
    $exec -c -q -f $cfgfile $OPTIONS
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    stop
    start
}

reload() {
    $exec -c -q -f $cfgfile $OPTIONS
    if [ $? -ne 0 ]; then
        echo "Errors in configuration file, check with $prog check."
        return 1
    fi
    echo -n $"Reloading $prog: "
    $exec -D -f $cfgfile -p $pidfile $OPTIONS -sf $(cat $pidfile)
    retval=$?
    echo
    return $retval
}

force_reload() {
    restart
}

fdr_status() {
    status $prog
}

case "$1" in
    start|stop|restart|reload)
        $1
        ;;
    force-reload)
        force_reload
        ;;
    check)
        check
        ;;
    status)
        fdr_status
        ;;
    condrestart|try-restart)
        [ ! -f $lockfile ] || restart
        ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|try-restart|reload|force-reload}"
        exit 2
esac
View Code

 

#给执行权力
#chmod +x /etc/init.d/haproxy

　　3）、提供配置文件

根据上面的启动脚本建立相应的目录以及配置文件

# mkdir /etc/haproxy
# mkdir /var/lib/haproxy
# useradd -r haproxy       #建立脚本启动用户
# vi /etc/haproxy/haproxy.cfg

 

【配置文件】

#这里的配置文件仅仅只是贴出来进行解析说明。

#如果需要这个配置文件最好将注释解析全部删除掉，因为我在使用的过程中，正是因为存在注释解析而导致出错，删除后就能正常运行。

#可以下载这个配置文件进行使用，与下面贴出来的配置文件一致，只是不存在注释解析

#百度云下载该配置文件（不含注释）：链接：http://pan.baidu.com/s/1gfOMtKB  密码：zl9o

 

global

    log         127.0.0.1 local2         //日志定义级别
    chroot      /var/lib/haproxy         //当前工作目录
    pidfile     /var/run/haproxy.pid     //进程id
    maxconn     4000                     //最大连接数
    user        haproxy                  //运行改程序的用户
    group       haproxy
    daemon                               //后台形式运行
    stats socket /var/lib/haproxy/stats

defaults
    mode                    tcp            //haproxy运行模式（http | tcp | health）
    log                     global
    option                  dontlognull
    option                  redispatch     //serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    retries                 3              //三次连接失败则服务器不用
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s            //连接超时
    timeout client          1m             //客户端超时
    timeout server          1m             //服务器超时
    timeout http-keep-alive 10s
    timeout check           10s            //心跳检测
    maxconn                 600            //最大连接数

listen stats                               //配置haproxy状态页（用来查看的页面）
    mode http
    bind :8888
    stats enable
    stats hide-version                    //隐藏haproxy版本号
stats uri     /haproxyadmin?stats     //一会用于打开状态页的uri
    stats realm   Haproxy\ Statistics     //输入账户密码时的提示文字
    stats auth    admin:admin             //用户名:密码

frontend  main 
bind 0.0.0.0:3306                     //使用3306端口。监听前端端口【表示任何ip访问3306端口都会将数据轮番转发到mysql服务器群组中】
    default_backend             mysql     //后端服务器组名

backend mysql
    balance     leastconn                 //使用最少连接方式调度
    server mysql1 192.168.95.11:3306 check port 3306 maxconn 300
    server mysql2 192.168.95.12:3306 check port 3306 maxconn 300

 

　　4）、启动日志

# vi /etc/rsyslog.conf 

#service rsyslog restart

　　5）、启动haproxy

# service haproxy start

　　6）、测试haproxy

安照配置文件进行相应的测试

打开浏览器输入192.168.95.13:8888/haproxyadmin?stats

登陆后如下如所示，表明安装haproxy成功。

　　5.2、安装keepalived

官网下载：http://www.keepalived.org/download.html

在192.168.95.13、192.168.95.14安装keepalived

　　1）、解决缺少的软件库文件

【这一步骤视具体的linux版本而定，有些已经安装openssl了。具体情况可以执行./configure就能够确定缺不缺少软件库文件了】

首先我们先将keepalived-1.2.19.tar.gz解压，然后进入目录./configure查看

# tar -zxvf keepalived-1.2.19.tar.gz
# ./configure --prefix=/usr/local/keepalived  --sbindir=/usr/sbin/ --sysconfdir=/etc/ --mandir=/usr/local/share/man/ --with-kernel-dir=/usr/src/kernels/2.6.32-504.el6.x86_64/

 由上图可见keepalived的安装需要先安装软件OpenSSL

缺少头文件，只需要安装openssl和openssl-devel即可

最简单的方法是：yum -y install openssl openssl-devel

没网的朋友也不用怕，接下来将介绍的是rpm方法安装：

#挂载光盘，在光盘中查找软件。若光盘找不到就直接下载，再传入linux进行安装

# mount /dev/cdrom  /home/suifeng2/rom/
# cd rom/
# cd Packages/
# ls |grep openssl

安装keepalived软件时存在各种依赖，下图是我安装软件后整理的依赖关系图：

既然已经知道各软件依赖，则可按最后面的软件开始安装：

（你也可以从前面开始进行安装，一步一步的查看各个依赖关系）

1、安装openssl

# rpm -ivh openssl-1.0.1e-30.el6.x86_64.rpm

安装openssl成功

2、安装openssl-devel

安装libsepol-devel：

# rpm -ivh libsepol-devel-2.0.41-4.el6.x86_64.rpm

安装pkgconfig(libsepol)：

# rpm -ivh pkgconfig-0.23-9.1.el6.x86_64.rpm

安装libselinux-devel：

# rpm -ivh libselinux-devel-2.0.94-5.8.el6.x86_64.rpm

安装keyutils-libs-devel：

# rpm -ivh keyutils-libs-devel-1.4-5.el6.x86_64.rpm

安装libcom_err-devel：

# rpm -ivh libcom_err-devel-141.12-21.el6.x86_64.rpm

 

安装krb5-devel：

# rpm -ivh krb5-devel-1.10.3-33.el6.x86_64.rpm

安装zlib-devel：

# rpm -ivh zlib-devel-1.2.3-29.el6.x86_64.rpm

安装openssl-devel：

# rpm -ivh openssl-devel-1.0.1e-30.el6.x86_64.rpm

　　2）、编译安装keepalived软件

# cd keepalived-1.2.19
# ./configure --prefix=/usr/local/keepalived  --sbindir=/usr/sbin/ --sysconfdir=/etc/ --mandir=/usr/local/share/man/ --with-kernel-dir=/usr/src/kernels/2.6.32-504.el6.x86_64/
# make && make install

# chkconfig --add keepalived  #添加开机自启（我暂时没添加）
# chkconfig keepalived on

 

【注意】：

1、安装时./configure中的—prefix后的几个选择可选可不选，选了就可以采用service直接启动了。建议最好都加上吧

2、--with-kernel-dir这个选项根据自己的linux版本进行填写（在linux中使用命令uname –a可以查到）

　　3）、创建配置文件

/etc/keepalived/文件夹已存在keepalived.conf文件，我们将它改名为keepalived.conf.back，再建立一个我们自己keepalived.conf配置文件。

vi /etc/keepalived/keepalived.conf（13与14配置文件路径一致）

【以下是简单的配置文件，使用时最好去掉注释】

配置文件下载（不含注释）：

192.168.95.13配置文件:

! Configuration File for keepalived
#简单的头部，这里主要可以做邮件通知报警等的设置，此处就暂不配置了；
global_defs {
        notificationd LVS_DEVEL
}
#预先定义一个脚本，方便后面调用，也可以定义多个，方便选择；
vrrp_script chk_haproxy {
    script "/etc/keepalived/chk.sh"  #具体脚本路径
    interval 2  #脚本循环运行间隔
}
#VRRP虚拟路由冗余协议配置
vrrp_instance VI_1 {   #VI_1 是自定义的名称；
    state BACKUP    #MASTER表示是一台主设备，BACKUP表示为备用设备【我们这里因为设置为开启不抢占，所以都设置为备用】
    nopreempt      #开启不抢占
    interface eth0   #指定VIP需要绑定的物理网卡
    virtual_router_id 11   #VRID虚拟路由标识，也叫做分组名称，该组内的设备需要相同
    priority 130   #定义这台设备的优先级 1-254；开启了不抢占，所以此处优先级必须高于另一台

    advert_int 1   #生存检测时的组播信息发送间隔，组内一致
    authentication {    #设置验证信息，组内一致
        auth_type PASS   #有PASS 和 AH 两种，常用 PASS
        auth_pass asd    #密码
    }
    virtual_ipaddress {
        192.168.95.55    #指定VIP地址，组内一致，可以设置多个IP
    }
    track_script {    #使用在这个域中使用预先定义的脚本，上面定义的
        chk_haproxy   
    }

    notify_backup "/etc/init.d/haproxy restart"   #表示当切换到backup状态时,要执行的脚本
    notify_fault "/etc/init.d/haproxy stop"     #故障时执行的脚本
}

192.168.95.14配置文件:

配置文件与上面的几乎一样，仅仅改变priority 120【只需要比上面的小即可】

　　4）、创建脚本文件

创建上面配置文件所需的脚本文件（13、14一样）

（检测haproxy有没有发生故障，发生故障则将keepalived停掉，让出vip）

# vi /etc/keepalived/chk.sh#!/bin/bash
#
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       /etc/init.d/keepalived stop
fi
给执行权限
# chmod +x /etc/keepalived/chk.sh

启动keepalived：
# service keepalived start

安装keepalived成功！

 

6、功能测试

测试之前先在mysql1和mysql2中建立一个mysql用户，此用户可以允许13、14linux主机登陆：

用户：jack

密码：321

host：192.168.95.%

mysql> GRANT ALL ON *.* TO 'jack'@'192.168.95.%' IDENTIFIED BY '321';
mysql> FLUSH PRIVILEGES;

　　6.1、流程简述

大概讲述一下整体的运作流程:

首先两个11,12的mysql以及13、14的haproxy、keepalived都启动；

keepalived在keepalived群组中获取虚拟IP，以及检测haproxy是否被kill；

haproxy负责将进来的数据转发到11或者12的mysql中。

下图是我画的简单理解图：（相对来说比较简洁哈，凑合凑合哈）

接下来我们将一个个功能的进行测试验证。

　　6.2、测试haproxy监听前端端口3306

1、frontend监听端口3306时，将mysql、haproxy、keepalived全部开启

2、使用任意一个mysql客户端登陆用户jack

登陆成功(windowns上登陆mysql)

3、更改frontend监听端口为3307，继续操作登陆测试

登陆失败

结果：说明了frontend监听端口的用处，有助于我们理解haproxy用法。

　　6.3、测试高可用+keepalived不抢占vip

可以通过haproxy监控页面获知谁获取了vip

1、依次启动13、14的keepalived、haproxy（启动keepalived后将会自动开启haproxy）

2、访问http://192.168.95.55:8888/haproxyadmin?stats

13获取了vip

3、# kill -9 8923

刷新http://192.168.95.55:8888/haproxyadmin?stats

14获取了vip，机器正常工作

结果：证明了高可用，挂了一台另一台继续工作

4、重新启动13的haproxy以及keepalived

并刷新http://192.168.95.55:8888/haproxyadmin?stats

结果：此时vip仍在14手中，证明了keepalived配置了不抢占vip，不必浪费资源去获取vip。

　　6.4、测试负载均衡

1、全部正常启动，此时vip在14手中

2、分别在11、12中开启抓包

# tcpdump -n -i eth0 host 192.168.95.11 and 192.168.95.14
# tcpdump -n -i eth0 host 192.168.95.12 and 192.168.95.14

3、使用不同客户端登陆jack用户，不断向数据库添加数据

结果：此时14向11、12都有发送数据，此时证明负载均衡

【我们设置的haproxy中balance方式是最少连接方式，假若采用roundrobin方式测试结果将会更加明显】

注意：

当某一台mysql挂了以后，haproxy会将其踢出mysql服务器群组。

当有命令传来时会将其转发到正常的服务器上。

当出问题的mysql恢复后，haproxy又会自动地将它放回mysql服务器群组中，并且自动同步没有同步的数据

测试：

1、全部正常启动

mysql1、mysql2都正常

 2、将mysql2关掉

mysql2出问题，将其踢出mysql群组

3、启动mysql2

mysql2恢复后又将其放回mysql群组里

【当mysql2挂掉时，若有数据插入，将会转发给mysql1，当mysql恢复后，又会将这些数据同步到mysql2中】

 

7、总结与建议

　　在这篇博文中我们不仅仅只关注这一整个mysql高可用负载均衡的实现方式，我们还应该理解haproxy以及keepalived的工作方式。Haproxy和keepalived这两个工具很强大，了解他们的实现方式，那么就可以以此类推与其他服务器组合构建强大健壮的服务集群。例如它可以与apache组合，构成高可用负载均衡的web集群。

　　这篇文章中只是简简单单的搭建了一个mysql高可用负载均衡的环境，真正应用到生产环境中，还需要根据具体项目进行相应的修改。

　　最后我的小建议就是看完这篇博客可以去了解了解更多的haproxy和keepalived的相应配置，以及学习与haproxy功能差不多的LVS。

 

（以上是自己的一些见解与总结，若有不足或者错误的地方请各位指出）

作者：那一叶随风

声明：以上只代表本人在工作学习中某一时间内总结的观点或结论。转载时请在文章页面明显位置给出原文链接

 

标签：

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点，本站所提供的摄影照片，插画，设计作品，如需使用，请与原作者联系，版权归原作者所有

上一篇：mysql的基本操作

下一篇：mysql实现rownum

相关文章

IDC资讯： 主机资讯 注册资讯 托管资讯 vps资讯 网站建设

网站运营： 建站经验 策划盈利 搜索优化 网站推广 免费资源

网站联盟： 联盟新闻 联盟介绍 联盟点评 网赚技巧

行业资讯： 搜索引擎 网络游戏 电子商务 广告传媒

网络编程： Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它

服务器技术： Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护

软件技巧： 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷

网页制作： FrontPages Dreamweaver Javascript css photoshop fireworks Flash

程序设计： Java技术 C/C++ VB delphi

网络知识： 网络协议 网络安全 网络管理 组网方案 Cisco技术

操作系统： Win2000 WinXP Win2003 Mac OS Linux FreeBSD

热门词条
最新资讯
热门关注
热门标签