在介绍PXC之前,先来看一个相关的技术:MyCat
MyCat简介
MyCat是阿里开源的分布式数据库分库分表中间件
MyCat是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信
MyCat功能:
- 数据库读写分离(写操作在主,读操作在从数据库)
- 读的负载均衡(一主多从)
- 垂直拆分(将表分开为多个数据库)
- 水平拆分(对表取模拆分)
MyCAT是mysql中间件,前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛起了这面大旗,在大数据时代,其重要性愈发彰显。这篇文章主要是MyCAT的入门部署。
- 更多相关可以参考这里:https://www.jianshu.com/p/c6e29d724fca
下面是MyCat结合PXC的架构图
PXC简介
PXC是percona公司的percona xtraDB cluster,简称PXC。它是基于Galera协议的高可用集群方案。可以实现多个节点间的数据同步复制以及读写,并且可保障数据库的服务高可用及数据强一致性。
PXC就属于一套近乎完美的MySQL高可用集群架构方案;
主要特点是: 读写强一致性(牺牲性能)
PXC特性
- 1)同步复制,事务要么在所有节点提交或不提交。
- 2)多主复制,可以在任意节点进行写操作。
- 3)在从服务器上并行应用事件,真正意义上的并行复制。
- 4)节点自动配置,数据一致性,不再是异步复制。
PXC最大的优势:强一致性、无同步延迟
优点总结:
- 服务高可用
- 可以达到时时同步(并发复制),无延迟现象发生
- 完全兼容MySQL
- 对于集群中新节点的加入(自动部署),维护起来很简单
- 数据的强一致性
- 多个可同时读写节点,可实现写扩展,不过最好事先进行分库分表,让各个节点分别写不同的表或者库,避免让galera解决数据冲突;
不足之处总结:
- 只支持Innodb存储引擎
- 存在多节点update更新问题,也就是写放大问题
- 在线DDL语句,锁表问题
- sst针对新节点加入的传输代价过高的问题
- 所有表都要有主键;
- 不支持LOCK TABLE等显式锁操作;
- 锁冲突、死锁问题相对更多;
- 不支持XA;
事实上,采用PXC的主要目的是解决数据的一致性问题,高可用是顺带实现的。因为PXC存在写扩大以及短板效应,并发效率会有较大损失,类似semi sync replication机制。
网络说明
基于Galere协议的高可用方案:pxc
+ Galera是Codership提供的多主数据同步复制机制,可以实现多个节点间的数据同步复制以及读写,并且+ 可保障数据库的服务高可用及数据一致性。
+ 基于Galera的高可用方案主要有MariaDB Galera Cluster和Percona XtraDB Cluster(简称PXC),目前PXC用的会比较多一些。
+ mariadb的集群原理跟PXC一样,maridb-cluster其实就是PXC,两者原理是一样的。
PXC原理
Percona XtraDB Cluster(简称PXC集群)提供了MySQL高可用的一种实现方法。
- 1)集群是有节点组成的,推荐配置至少3个节点,但是也可以运行在2个节点上。
- 2)每个节点都是普通的mysql/percona服务器,可以将现有的数据库服务器组成集群,反之,也可以将集群拆分成单独的服务器。
- 3)每个节点都包含完整的数据副本。
PXC集群主要由两部分组成:Percona Server with XtraDB和Write Set Replication patches(使用了Galera library,一个通用的用于事务型应用的同步、多主复制插件)。
PXC会使用大概是4个端口号
- 3306 数据库对外服务的端口号
- 4444 请求SST SST: 指数据一个镜象传输 xtrabackup , rsync ,mysqldump
- 4567 : 组成员之间进行沟通的一个端口号
- 4568 : 传输IST用的。相对于SST来说的一个增量。
注:安装PXC过程中, iptables 禁掉 ,selinux 也禁掉
PXC的操作流程:
- 首先客户端先发起一个事务,该事务先在本地执行,执行完成之后就要发起对事务的提交操作了。
- 在提交之前需要将产生的复制写集广播出去,然后获取到一个全局的事务ID号,一并传送到另一个节点上面。
- 通过合并数据之后,发现没有冲突数据,执行apply_cd和commit_cb动作,否则就需要取消此次事务的操作。
- 当前server节点通过验证之后,执行提交操作,并返回OK,如果验证没通过,则执行回滚。
- 在生产中至少要有3个节点的集群环境,如果其中一个节点没有验证通过,出现了数据冲突,那么此时采取的方式就是讲出现不一致的节点踢出集群环境,而且它自己会执行shutdown命令,自动关机。
实战
部署环境: CentOS7.X
1、执行 命令 vi /etc/selinux/config
SELINUX=disabled #修改该项为disabled
2、执行命令 setenforce 0
3、查看防火墙是否开启 systemctl status firewalld
如果防火墙是开启状态,则开放端口 3306 、4444、4567、4568
firewall-cmd --add-port=3306/tcp --permanent #开放了3306端口
开放完4个端口后,重新加载防火墙规则
firewall-cmd --reload
4、安装Persona仓库
yum install http://www.percona.com/downloads/percona-release/redhat/0.1-4/percona-release-0.1-4.noarch.rpm
5、安装PXC(保证服务器没有装MySQL)卸载MySQL 参考链接:https://blog.csdn.net/tjcyjd/article/details/52189182
yum install Percona-XtraDB-Cluster-57
6、开启PXC服务
service mysql start
7、查看安装数据库的临时密码并记住
grep 'temporary password' /var/log/mysqld.log
8、登录MySQL数据库
mysql -u root -p
输入临时密码, 登录成功后修改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY '你的密码';
9、停止MySQL服务
service mysql stop (某些版本使用mysqld)
10、配置节点
vi /etc/percona-xtradb-cluster.conf.d/wsrep.cnf
修改配置文件
# Cluster connection URL contains IPs of nodes
#If no IP is found, this implies that a new cluster needs to be created,
#in order to do that you need to bootstrap this node
#集群中节点的IP地址(本机填最后)
wsrep_cluster_address=gcomm://ip地址,IP地址,IP地址(用,号隔开)
# In order for Galera to work correctly binlog format should be ROW
binlog_format=ROW
# MyISAM storage engine has only experimental support
default_storage_engine=InnoDB
# Slave thread to use
wsrep_slave_threads= 8
wsrep_log_conflicts
# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode=2
# Node IP address
#当前节点IP
wsrep_node_address=IP地址
# Cluster name
#集群名称
wsrep_cluster_name=pxc-cluster
#If wsrep_node_name is not specified, then system hostname will be used
#当前节点名称
wsrep_node_name=pxc-cluster-node-1
#pxc_strict_mode allowed values: DISABLED,PERMISSIVE,ENFORCING,MASTER
#不使用实验功能
pxc_strict_mode=ENFORCING
# SST method
#状态快照传输(sst)方法,官方建议
wsrep_sst_method=xtrabackup-v2
#Authentication for SST method
#用户凭证(mysql的用户名和密码)
wsrep_sst_auth="用户名:密码"
剩下的节点修改当前节点名、当前节点IP、集群中的节点IP,其他相同
注:1—10步骤 每个节点都要配置一次
11、初始化集群节点
其中一个节点使用 systemctl start mysql@bootstrap.service 启动
登录mysql
mysql -u root -p
开启 wsrep_causal_reads
set wsrep_causal_reads =1;
12、创建配置文件中对应的用户
所有节点的IP都要创建
创建用户:
CREATE USER '用户名'@'localhost' IDENTIFIED BY '密码';
刷新权限:
GRANT all privileges ON *.* TO '用户名'@'localhost' ;
FLUSH PRIVILEGES;
创建用户:
CREATE USER '用户名'@'当前需要访问数据库的IP地址' IDENTIFIED BY '密码';
刷新权限:
GRANT all privileges ON *.* TO '用户名'@'当前节点IP地址' ;
FLUSH PRIVILEGES;
13、其他节点使用 service mysql start 启动 ,登录mysql,配置wsrep_causal_reds,set wsrep_causal_reads =1;
14、其他节点启动成功后在引导节点(使用 systemctl start mysql@bootstrap.service 命令启动的节点)
验证集群:
show status like 'wsrep%';
15、节点数据同步验证
在当前节点创建一个数据库
CREATE DATABASE percona;
启动其他节点的数据库服务,进去后会发现新建的数据库,同理 其他节点创建的数据 当前节点也能看到
注意:服务的启动和停止要对应
service mysql stop ------> 启动时用service mysql start
或者
systemctl stop mysql@bootstrap.service -----> 启用是用 systemctl start mysql@bootstrap.service
- 更多相关实战配置可以参考这里:https://www.jianshu.com/p/0b7c050dfab6
推荐
- 带你玩转Mysql高可用方案–PXC
Docker搭建PXC集群
MySQL高可用方案-PXC环境部署记录: 详细教程