mycat和mysql搭建高可用企业数据库集群

重启之后，测试，就发现 保存 订单明细的时候，会根据 订单id 存入对应的分片库里面，即和 订单表所在的数据存在一起

mycat 其他常用功能

sql 拦截

SQL防火墙

上图中， 白名单里面的意思就是 规定root 用户只能在 当前机器登录，其他机器不用使用root 登录

mycat 高可用集群

一台机器部署多实例mycat  :  https://blog.csdn.net/tqs314/article/details/102407043

使用ZK记录mycat 配置

初始化ZK并配置mycat 支持zk

先将之前配置好的mycat 内容 覆盖到 mycat的zkconf 配置内容

在mycat 的bin 下 执行初始化 zk 的数据

./init_zk_data.sh 

可以去ZooKeeper查看 是否成功 将信息给加载到了zk

接着在 每台mycat 里面conf配置  myid.properties

loadZk=true   # 这样其他mycat 就可以加载zk 上面的配置信息并启动了

启动全部zk 和mycat 

haproxy 部署

haproxy 与 Nginx 区别

https://www.cnblogs.com/EasonJim/p/7629888.html

https://blog.csdn.net/hellojoy/article/details/80805328

https://www.yht7.com/wenda/detail/456168

https://zhuanlan.zhihu.com/p/115092359

Haproxy 与 Keepalived 一定要部署和mycat 在同一台服务器上。 

即 通过keepatlive 提高 的虚假IP 给 前端用户去访问

haproxy 安装

https://blog.csdn.net/xianglinGChuan/article/details/82218469

https://zhuanlan.zhihu.com/p/23893787

手动安装：

https://jingyan.baidu.com/article/4dc408486bb9e7c8d946f12b.html

https://blog.csdn.net/qq_28710983/article/details/82194404

https://blog.csdn.net/keil_wang/article/details/89712380

https://www.jianshu.com/p/edf2c8c7d83f

开启打印日志  https://www.cnblogs.com/liuxia912/p/11078172.html

上图就是 haproxy 配置的mycat 的负载均衡

haproxy.cfg 完整：

global
    chroot      /var/lib/haproxy
    pidfile     /var/run/haproxy.pid
    maxconn     4000
    user        haproxy
    group       haproxy
    daemon
    stats Socket /var/lib/haproxy/stats

defaults
    mode                    http
    log                     global
    option                  httplog
    option                  dontlognull
    option                  abortonclose
    retries                 3
    timeout http-request    10s
    timeout queue           1m
    timeout connect         10s
    timeout client          1m
    timeout server          1m
    timeout http-keep-alive 10s
    timeout check           10s
    balance roundrobin 
    log 127.0.0.1 local0 info

listen  admin_status
      bind *:48800 ##VIP
      stats uri /admin-status  ##统计页面
      stats auth  admin:admin
listen    allmycat_service
      bind *:8096 ##转发到mycat的应用端口，即mycat的服务端口
      mode tcp
      option tcplog
      balance    roundrobin
        server    mycat_132 10.102.13.2:3306 check port 48700 inter 5s rise 2 fall 3
        server    mycat_135 10.102.13.5:8066 check port 48700 inter 5s rise 2 fall 3
listen    allmycat_admin
      bind *:8097 ##转发到mycat的管理端口，及mycat的管理控制台端口
      mode tcp
      option tcplog
      balance    roundrobin
        server    mycat_132 10.102.13.2:9066 check port 48700 inter 5s rise 2 fall 3
        server    mycat_135 10.102.13.5:9066 check port 48700 inter 5s rise 2 fall 3

这里有一个 检查端口 48700 ， 因此安装  yum -y install xinetd

[root@node1 haproxy]# yum install xinetd -y

[root@node1 log]# vi /etc/xinetd.d/mycatchk

service mycatchk

{

flags = REUSE

socket_type = stream

port = 48700

wait = no

user = root

server =/usr/local/bin/mycat_status

log_on_failure += USERID

disable = no

}

###########################################

#增加/usr/local/bin/mycat_status脚本

#########################################

#!/bin/bash

#/usr/local/bin/mycat_status

# This script checks if a mycat server is healthy running on localhost. It will

# return:

#

# "HTTP/1.x 200 OK" (if mycat is running smoothly)

#

# "HTTP/1.x 503 Internal Server Error" (else)

mycat=`/usr/local/mycat/bin/mycat status |grep "not running"| wc -l`

if [ "$mycat" = "0" ];

then

    /bin/echo -en "HTTP/1.1 200 OK
" 

    /bin/echo -en "Content-Type: text/plain
" 

    /bin/echo -en "Connection: close
" 

    /bin/echo -en "Content-Length: 40
" 

    /bin/echo -en "
" 

    /bin/echo -en "MyCAT  Cluster Node is synced.
" 

    exit 0

else

    /bin/echo -en "HTTP/1.1 503 Service Unavailable
" 

    /bin/echo -en "Content-Type: text/plain
" 

    /bin/echo -en "Connection: close
" 

    /bin/echo -en "Content-Length: 44
" 

    /bin/echo -en "
" 

    /bin/echo -en "MyCAT Cluster Node is not synced.
" 

    exit 1

fi

#########################################################

#在/etc/services中加入mycat_status服务

######################################################

[root@node1 bin]# vi /etc/services 

mycatchk        48700/tcp               # mycat check

#重启xinetd服务

Centos6:[root@node1 bin]# service xinetd restart

centos7:[root@node1 bin]# systemctl restart xinetd

#验证mycatchk服务是否启动成功

[root@node1 bin]# netstat -nltp | grep 48700

#在node1节点绑定VIP

[root@node1 bin]# ifconfig eth0:1 10.102.13.248/24

#启动haproxy

[root@node1 xinetd.d]# haproxy -f /etc/haproxy/haproxy.cfg 

#测试通过haproxy连接MyCAT

[root@node3 ~]# mysql -uroot -p -h10.102.13.248 -P8096 

https://blog.csdn.net/lzghxjt/article/details/83018710

其实这里不用 xinetd 也是可以的，开发测试而已  .  生产环境一般都是使用 xinetd的

MyCat服务主机（edu-mycat-01、edu-mycat-02）上需要增加mycat服务的状态检测脚本，并开放相应的检测端口，以提供给HAProxy对MyCat的服务状态进行检测判断。可以使用xinetd来实现，通过xinetd，HAProxy可以用httpchk来检测MyCat的存活状态。（xinetd即extended internet daemon，xinetd是新一代的网络守护进程服务程序，又叫超级Internet服务器。经常用来管理多种轻量级Internet服务。xinetd提供类似于inetd+tcp_wrapper的功能，但是更加强大和安全。xinetd为linux系统的基础服务）

如果不配置使用xinetd 那么 配置haproxy 的配置代理需要配置 其他的时间参数，否则会代理失败： 比如 timeout 等相关的参数。

listen mycat             # 监控配置
        bind 0.0.0.0:8096   #监听端口 , 虚IP, 访问mycat
        mode tcp
	option tcplog
	timeout connect 60s   #连接超时 
   	timeout client  30000 #客户端超时,
	timeout server  30000
	balance roundrobin
	server mycat_fz_01 192.168.0.205:8066 check inter 5s rise 2 fall 3 weight 1
	server mycat_fz_011 192.168.0.205:8066 check inter 5s rise 2 fall 3 weight 1	

接着配置虚IP

之后就可以重启haproxy 了

其实可以不用配置虚拟IP的， 都配置成 0.0.0.0 

keepalived  安装

用于 haproxy 的 高可用，即 使用虚IP来访问某一台 haproxy 

 yum -y install keepalived

配置文件目录  cd /etc/keepalived/

keepalived.conf配置内容：

! Configuration Fileforkeepalived
vrrp_script chk_http_port {
script"/etc/keepalived/check_haproxy.sh"   # haproxy 的监控建表
	interval 2     # 时间间隔
	weight 2
}
vrrp_instance VI_1 {
	state MASTER   # 这里是master ,另一台服务器的 keepalived 是 slave ，主从配置
	interface eth0  # 虚IP网卡
	virtual_router_id 51   # 两台的 keepalived  id 值必须一致
	priority 150    # 优先级， master 的优先级 比较高，值越大 越会优先使用作为master keepalived 
	advert_int 1 
	authentication {
	auth_type PASS   # keepalived  认证方式与密码
	auth_pass 1111
	}
	track_script {
		chk_http_port
	}
	virtual_ipaddress { 
		192.168.0.105 dev eth0 scope global   # 虚IP 
	} 
}

check_haproxy.sh :  检查haproxy 是否存活，没有启动就启动。如果启动失败或者haproxy 挂了，那么 虚IP就 就执行另一台的服务器的keepalived 与 haproxy 

#!/bin/bash
STARTHAPROXY="/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg"
STOPKEEPALIVED="/etc/init.d/keepalived stop"
#STOPKEEPALIVED="/usr/bin/systemctl stop keepalived"
LOGFILE="/var/log/keepalived-haproxy-state.log"
echo "[check_haproxy status]" >> $LOGFILE
A=`ps -C haproxy --no-header |wc -l`
echo "[check_haproxy status]" >> $LOGFILE
date >> $LOGFILE
if [ $A -eq 0 ];then
   echo $STARTHAPROXY >> $LOGFILE
   $STARTHAPROXY >> $LOGFILE 2>&1
   sleep 5
fi
if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
   exit 0
else
   exit 1
fi

 chmod a+x check_haproxy.sh   加上执行权限

启动keepalived 

通过 ip  addr 可以看到 虚IP已生效。 如果某一台挂了，那么虚IP就切换到另一台服务器了。

mysql 是不能频繁切换虚IP的，会产生数据异常。而haproxy 没有问题，因为它的连接是没有状态的。

mycat 读写分离

主要配置 dataHost 即可

		select user()
		
        写， 主 
		
						
              读 ， 从
			 			
		

        当写挂了， 高可用，配置读作为读写
		
		
		
	

在 mycat的 conf下的 zkConf 修改配置之后， 执行 bin/init_zk_data.sh 就可以将修改的内容同步到zk 了。

这样其他 mycat 集群机器就可以同步配置了，即滚动应用mycat 配置 . 接着 一台一台启动mycat 即可，这样就不影响使用了

mycat 管理及监控

可以通过使用navicat 来连接mycat 来对 mycat 进行管理

重新加载配置：

常用于管理单台的mycat 

mycat WEB 管理页面

http://dl.mycat.org.cn/mycat-web-1.0/  下载 web

tar zxf Mycat-web-1.0-SNAPSHOT-20170102153329-linux.tar.gz 

mycat-web/mycat-web/WEB-INF/classes 里面 可以 修改 zookeeper的路径

启动 ./start.sh   

端口 8082 :  http://192.168.0.205:8082/mycat/

这样就可以对mycat 进行 监控和管理了

mycat 集群优化

linux 系统优化

以上就是一般的基于内存和网络的优化配置，参考

加上 两行即可 ，配置文件的最大打开数量

mycat 优化配置

mysql 优化配置

独占机器的mysql 对于 innodb_buffer_pool_size 为内存的 2/3 大小

mycat 限制

即 待 update或者delete 带limit的 不支持，否则会出现数据异常

即支持 XA的分布式事务:  https://www.cnblogs.com/cxxjohnson/p/9145548.html