ShardingSphere实现数据库读写分离,主从库分离,docker详细教程
创始人
2024-02-05 03:55:25

一.什么是 ShardingSphere

引用官方的话
Apache ShardingSphere 是一款分布式的数据库生态系统, 可以将任意数据库转换为分布式数据库,并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。

Apache ShardingSphere 设计哲学为 Database Plus,旨在构建异构数据库上层的标准和生态。 它关注如何充分合理地利用数据库的计算和存储能力,而并非实现一个全新的数据库。 它站在数据库的上层视角,关注它们之间的协作多于数据库自身。

ShardingSphere-JDBC
ShardingSphere-JDBC 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。

ShardingSphere-Proxy
ShardingSphere-Proxy 定位为透明化的数据库代理端,通过实现数据库二进制协议,对异构语言提供支持。
在这里插入图片描述
官方文档 - 英文版
官方文档 - 中文版

这里采用ShardingSphere-Proxy实现,介绍ShardingSphere-Proxy的搭建过程,基于ShardingSphere-Proxy实现数据库读写分离,主从复制,对于想了解数据库分片分库等其他功能的同学,建议仔细看官方文档,都有比较详细的说明

二.安装数据库,一主两重,数据库版本:8.0.28

我这里测试三台数据库都只是安装在本地,端口号不一样,真实业务情景肯定是建议多台服务器分离安装的。

1.docker安装mysql8.0.28

A.主数据库

docker pull mysql:8.0.28docker run -p 3306:3306 --name mysql-master \
-v /home/mysql/master/log:/var/log/mysql \
-v /home/mysql/master/data:/var/lib/mysql \
-v /home/mysql/master/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/master/conf/my.cnf

配置模板如下:

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULLmax_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意:skip-name-resolve 一定要加,不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=1
log-bin=mysql-bin
#说明一下这是主库
read-only=0
#同步的数据库有这些
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成,重启

docker restart mysql-master

B.从数据库01

docker pull mysql:8.0.28docker run -p 3317:3306 --name mysql-slaver-01 \
-v /home/mysql/slaver/log:/var/log/mysql \
-v /home/mysql/slaver/data:/var/lib/mysql \
-v /home/mysql/slaver/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下:

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULLmax_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意:skip-name-resolve 一定要加,不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=2
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成,重启

docker restart mysql-slaver-01

C.从数据库02

docker pull mysql:8.0.28docker run -p 3327:3306 --name mysql-slaver-02 \
-v /home/mysql/slaver/log:/var/log/mysql \
-v /home/mysql/slaver/data:/var/lib/mysql \
-v /home/mysql/slaver/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下:

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULLmax_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意:skip-name-resolve 一定要加,不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=3
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成,重启

docker restart mysql-slaver-02

2.为 mysql-master 授权用户来 同步数据

1.执行命令

docker exec -it mysql-master /bin/bash
mysql -uroot -puse mysql;update user set Host='%' where User='root';ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';FLUSH PRIVILEGES;

2.开启系统权限

GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;

3.查看master 的相关信息

show master status\G;

在这里插入图片描述

留存好这个 “mysql-bin.000001”和Position 889,后面将用到

3.配置 slaver 同步 master 数据(01和02从库是一样的)

1.执行命令

docker exec -it mysql-slaver-02 /bin/bash

2.执行sql

mysql -uroot -pupdate user set Host='%' where User='root';ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';FLUSH PRIVILEGES;#2.开启系统权限
GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;#3、重新加载权限表
flush privileges;#4、设置主库连接,这里的 “mysql-bin.000001” 就是上面让记来下的			binlog,master_log_pos=889为Positionchange master to
master_host='127.0.0.1',master_user='root',master_password='h@L.xZ_i20@2',master_log_file='mysql-bin.000001',master_log_pos=889,master_port=3306;#5、启动从库同步
start slave;#6、查看从库状态
show slave status\G;

看到这两个说明已经可以进行主从复制了:
在这里插入图片描述
如果开启主从复制失败,需要修改和重新启动,依次执行一下命令:

stop slave;
reset slave;
change master to ......#如上面完整命令
start slave; 
sql主从库库创建数据库:
CREATE DATABASE test;

三.配置读写分离,创建两个yaml配置文件

1. config-test.yaml

# 配置逻辑数据库名
# 配置逻辑数据库名
schemaName: sharding_db# 配置物理数据库参数
dataSources:# 主库write_ds:url: jdbc:mysql://127.0.0.1:3306/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=trueusername: rootpassword: h@L.xZ_i20@2connectionTimeoutMilliseconds: 3000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 200minPoolSize: 5# 从库0read_ds_0:url: jdbc:mysql://127.0.0.1:3317/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=trueusername: rootpassword: h@L.xZ_i20@2connectionTimeoutMilliseconds: 3000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 200minPoolSize: 5# 从库1read_ds_1:url: jdbc:mysql://127.0.0.1:3327/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=trueusername: rootpassword: h@L.xZ_i20@2connectionTimeoutMilliseconds: 3000idleTimeoutMilliseconds: 60000maxLifetimeMilliseconds: 1800000maxPoolSize: 200minPoolSize: 5# 配置主从规则
rules:- !READWRITE_SPLITTINGdataSources:pr_ds:writeDataSourceName: write_dsreadDataSourceNames:- read_ds_0- read_ds_1

2.server.yaml

rules:- !AUTHORITYusers:- root@%:h@L.xZ_i20@2provider:type: ALL_PRIVILEGES_PERMITTEDprops:sql-show: truesql-simple: true

3.新建一个文件夹用于存放以上两个配置文件:/home/shardingsphere-proxy/conf

4.自行下载MYSQ 的驱动包(mysql-connector-java-8.0.27.jar),放到映射目录中:/home/shardingsphere-proxy/ext-lib

四.docker 安装 sharding proxy

1.拉取镜像

docker pull apache/shardingsphere-proxy

2.安装容器并运行

docker run  --name=shardingsphere_proxy -d -v /home/shardingsphere-proxy/conf:/opt/shardingsphere-proxy/conf -v /home/shardingsphere-proxy/ext-lib:/opt/shardingsphere-proxy/ext-lib -p 13308:3307 apache/shardingsphere-proxy:latest

3.重启容器

docker restart shardingsphere_proxy

4.查看日志

docker logs shardingsphere_proxy
#或者 
docker logs -f --tail 500 shardingsphere_proxy

五.感谢看到这里,有遇到问题,请留言

相关内容

热门资讯

北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
猫咪吃了塑料袋怎么办 猫咪误食... 你知道吗?塑料袋放久了会长猫哦!要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
demo什么意思 demo版本... 618快到了,各位的小金库大概也在准备开闸放水了吧。没有小金库的,也该向老婆撒娇卖萌服个软了,一切只...
苗族的传统节日 贵州苗族节日有... 【岜沙苗族芦笙节】岜沙,苗语叫“分送”,距从江县城7.5公里,是世界上最崇拜树木并以树为神的枪手部落...
埃菲尔铁塔在哪 中国仿建埃菲尔... 2019年4月26日,广西南宁市,街头惊现一座巨型山寨版埃菲尔铁塔,高约20米,白色塔身,造型逼真,...
北京的名胜古迹 北京最著名的景... 北京从元代开始,逐渐走上帝国首都的道路,先是成为大辽朝五大首都之一的南京城,随着金灭辽,金代从海陵王...
应用未安装解决办法 平板应用未... ---IT小技术,每天Get一个小技能!一、前言描述苹果IPad2居然不能安装怎么办?与此IPad不...
脚上的穴位图 脚面经络图对应的... 人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用,包括头部穴位图、胸部穴位图、背部穴位图、胳...
长白山自助游攻略 吉林长白山游... 昨天介绍了西坡的景点详细请看链接:一个人的旅行,据说能看到长白山天池全凭运气,您的运气如何?今日介绍...
世界上最漂亮的人 世界上最漂亮... 此前在某网上,选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中,人们投票选出了心目中最美...