架构篇——MySQL高可用集群(PXC)详解


在介绍PXC之前,先来看一个相关的技术:MyCat

MyCat简介

MyCat是阿里开源的分布式数据库分库分表中间件

MyCat是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信

MyCat功能:

  • 数据库读写分离(写操作在主,读操作在从数据库)
  • 读的负载均衡(一主多从)
  • 垂直拆分(将表分开为多个数据库)
  • 水平拆分(对表取模拆分)

MyCAT是mysql中间件,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显。这篇文章主要是MyCAT的入门部署。

下面是MyCat结合PXC的架构图

PXC简介

PXC是percona公司的percona xtraDB cluster,简称PXC。它是基于Galera协议的高可用集群方案。可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据强一致性。

PXC就属于一套近乎完美的MySQL高可用集群架构方案;

主要特点是: 读写强一致性(牺牲性能)
PXC特性
  • 1)同步复制,事务要么在所有节点提交或不提交。
  • 2)多主复制,可以在任意节点进行写操作。
  • 3)在从服务器上并行应用事件,真正意义上的并行复制。
  • 4)节点自动配置,数据一致性,不再是异步复制。

PXC最大的优势:强一致性、无同步延迟

  • 优点总结:

    • 服务高可用
    • 可以达到时时同步(并发复制),无延迟现象发生
    • 完全兼容MySQL
    • 对于集群中新节点的加入(自动部署),维护起来很简单
    • 数据的强一致性
    • 多个可同时读写节点,可实现写扩展,不过最好事先进行分库分表,让各个节点分别写不同的表或者库,避免让galera解决数据冲突;
  • 不足之处总结:

    • 只支持Innodb存储引擎
    • 存在多节点update更新问题,也就是写放大问题
    • 在线DDL语句,锁表问题
    • sst针对新节点加入的传输代价过高的问题
    • 所有表都要有主键;
    • 不支持LOCK TABLE等显式锁操作;
    • 锁冲突、死锁问题相对更多;
    • 不支持XA;

事实上,采用PXC的主要目的是解决数据的一致性问题,高可用是顺带实现的。因为PXC存在写扩大以及短板效应,并发效率会有较大损失,类似semi sync replication机制。

网络说明
基于Galere协议的高可用方案:pxc
+ Galera是Codership提供的多主数据同步复制机制,可以实现多个节点间的数据同步复制以及读写,并且+ 可保障数据库的服务高可用及数据一致性。
+ 基于Galera的高可用方案主要有MariaDB Galera Cluster和Percona XtraDB Cluster(简称PXC),目前PXC用的会比较多一些。
+ mariadb的集群原理跟PXC一样,maridb-cluster其实就是PXC,两者原理是一样的。

PXC原理

Percona XtraDB Cluster(简称PXC集群)提供了MySQL高可用的一种实现方法。

  • 1)集群是有节点组成的,推荐配置至少3个节点,但是也可以运行在2个节点上。
  • 2)每个节点都是普通的mysql/percona服务器,可以将现有的数据库服务器组成集群,反之,也可以将集群拆分成单独的服务器。
  • 3)每个节点都包含完整的数据副本。

PXC集群主要由两部分组成:Percona Server with XtraDB和Write Set Replication patches(使用了Galera library,一个通用的用于事务型应用的同步、多主复制插件)。

PXC会使用大概是4个端口号

  • 3306 数据库对外服务的端口号
  • 4444 请求SST SST: 指数据一个镜象传输 xtrabackup , rsync ,mysqldump
  • 4567 : 组成员之间进行沟通的一个端口号
  • 4568 : 传输IST用的。相对于SST来说的一个增量。

注:安装PXC过程中, iptables 禁掉 ,selinux 也禁掉

PXC的操作流程:

  • 首先客户端先发起一个事务,该事务先在本地执行,执行完成之后就要发起对事务的提交操作了。
  • 在提交之前需要将产生的复制写集广播出去,然后获取到一个全局的事务ID号,一并传送到另一个节点上面。
  • 通过合并数据之后,发现没有冲突数据,执行apply_cd和commit_cb动作,否则就需要取消此次事务的操作。
  • 当前server节点通过验证之后,执行提交操作,并返回OK,如果验证没通过,则执行回滚。
  • 在生产中至少要有3个节点的集群环境,如果其中一个节点没有验证通过,出现了数据冲突,那么此时采取的方式就是讲出现不一致的节点踢出集群环境,而且它自己会执行shutdown命令,自动关机。

实战

部署环境: CentOS7.X

1、执行 命令 vi /etc/selinux/config
SELINUX=disabled   #修改该项为disabled
2、执行命令 setenforce 0
3、查看防火墙是否开启 systemctl status firewalld

如果防火墙是开启状态,则开放端口 3306 、4444、4567、4568

firewall-cmd --add-port=3306/tcp --permanent     #开放了3306端口

开放完4个端口后,重新加载防火墙规则

firewall-cmd --reload
4、安装Persona仓库
yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
5、安装PXC(保证服务器没有装MySQL)卸载MySQL 参考链接:https://blog.csdn.net/tjcyjd/article/details/52189182
yum install Percona-XtraDB-Cluster-57
6、开启PXC服务
service mysql start
7、查看安装数据库的临时密码并记住
grep 'temporary password' /var/log/mysqld.log
8、登录MySQL数据库
mysql -u root -p

输入临时密码, 登录成功后修改密码

ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';
9、停止MySQL服务
service mysql stop   (某些版本使用mysqld)
10、配置节点
vi  /etc/percona-xtradb-cluster.conf.d/wsrep.cnf

修改配置文件

# Cluster connection URL contains IPs of nodes
#If no IP is found, this implies that a new cluster needs to be created,
#in order to do that you need to bootstrap this node

#集群中节点的IP地址(本机填最后)
wsrep_cluster_address=gcomm://ip地址,IP地址,IP地址(用,号隔开)

# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW

# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB

# Slave thread to use
wsrep_slave_threads= 8
wsrep_log_conflicts

# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2

# Node IP address
#当前节点IP
wsrep_node_address=IP地址
# Cluster name
#集群名称
wsrep_cluster_name=pxc-cluster

#If wsrep_node_name is not specified,  then system hostname will be used
#当前节点名称
wsrep_node_name=pxc-cluster-node-1

#pxc_strict_mode allowed values: DISABLED,PERMISSIVE,ENFORCING,MASTER
#不使用实验功能
pxc_strict_mode=ENFORCING

# SST method
#状态快照传输(sst)方法,官方建议
wsrep_sst_method=xtrabackup-v2


#Authentication for SST method
#用户凭证(mysql的用户名和密码)

wsrep_sst_auth="用户名:密码"

剩下的节点修改当前节点名、当前节点IP、集群中的节点IP,其他相同

注:1—10步骤 每个节点都要配置一次

11、初始化集群节点

其中一个节点使用 systemctl start mysql@bootstrap.service 启动

登录mysql
mysql -u root -p

开启 wsrep_causal_reads

set wsrep_causal_reads =1;
12、创建配置文件中对应的用户

所有节点的IP都要创建

创建用户:

CREATE USER '用户名'@'localhost' IDENTIFIED BY '密码';  

刷新权限:

GRANT all privileges ON *.* TO '用户名'@'localhost' ;
FLUSH PRIVILEGES;

创建用户:

CREATE USER '用户名'@'当前需要访问数据库的IP地址' IDENTIFIED BY '密码';  

刷新权限:

GRANT all privileges ON *.* TO '用户名'@'当前节点IP地址' ;
FLUSH PRIVILEGES;
13、其他节点使用 service mysql start 启动 ,登录mysql,配置wsrep_causal_reds,set wsrep_causal_reads =1;
14、其他节点启动成功后在引导节点(使用 systemctl start mysql@bootstrap.service 命令启动的节点)

验证集群:

show status like 'wsrep%';  
15、节点数据同步验证

在当前节点创建一个数据库

CREATE DATABASE percona;

启动其他节点的数据库服务,进去后会发现新建的数据库,同理 其他节点创建的数据 当前节点也能看到

注意:服务的启动和停止要对应

service mysql stop   ------>  启动时用service mysql start

或者

systemctl stop mysql@bootstrap.service   ----->  启用是用 systemctl start mysql@bootstrap.service 
推荐
坚持原创技术分享,您的支持将鼓励我继续创作!