广告
返回顶部
首页 > 资讯 > 数据库 >MySQL复制以及调优原理的示例分析
  • 478
分享到

MySQL复制以及调优原理的示例分析

2024-04-02 19:04:59 478人浏览 安东尼
摘要

这篇文章主要介绍Mysql复制以及调优原理的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!一. 简介mysql自带复制方案,带来好处有:数据备份。负载均衡。分布式数据。概念介

这篇文章主要介绍Mysql复制以及调优原理的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

一. 简介

mysql自带复制方案,带来好处有:

数据备份。

负载均衡

分布式数据。

概念介绍:

主机(master):被复制的数据库

从机(slave):复制主机数据的数据库

复制步骤:
(1). master记录更改的明细,存入到二进制日志(binary log)。
(2). master发送同步消息给slave。
(3). slave收到消息后,将master的二进制日志复制到本地的中继日志(relay log)。
(4). slave重现中继日志中的消息,从而改变数据库的数据。

下面放一张经典的图片来说明这一过程:

MySQL复制以及调优原理的示例分析

二. 实现复制

实现复制有以下步骤:

1.设置Mysql主库的二进制日志以及server-id

MySQL配置文件一般存放在/etc/my.cnf

# 在[mysqld]下面添加配置选项
[mysqld]
server-id=1
log-bin=mysql-bin.log

server-id是数据库在整个数据库集群中的唯一标示,必须保持唯一。
重启MySQL。

注:如果MySQL配置文件中已经配置过此文件,则可以跳过此步。

2.新建复制账号

在主库里面新建用于从库复制主库数据的账号,并授予复制权限。

mysql> GRANT REPLICATioN SLAVE, REPLICATION CLIENT ON *.* TO user_name@'host' IDENTIFIED BY 'passWord';

3.设置MySQL主库server-id

和第二步配置一样,要注意的地方有两点:

如果不需要从库作为别的从库的主库的话,则不需要配置二进制日志。很多时候复制并不需要复制主库的全部数据库(特别是mysql的信息配置库)。因此可以配置replicate_do_db来指定复制的数据库 4.从库初始化主库的数据

如果数据量不算大的情况下,可以使用mysqldump工具导出主库数据,然后导入到从库里面。

mysqldump --single-transaction --triggers --master-data databasename > data.sql

如果数据量大的情况下应该使用Xtrabackup去进行数据库的导出,此处不做介绍。
可能会有同学问,为什么不直接使用二进制日志进行初始化呢?

如果我们主库运行了比较长的一段时间,并不太适合使用从库根据二进制日志进行复制数据,直接使用二进制日志去初始化从库会比较耗费时间和性能。更多的情况下,主库的二进制日志的配置项没有打开,因此也就不存在以前操作的二进制日志。 5.开启复制

从库执行下面命令

mysql> CHANGE MASTER TO MASTER_HOST='host',
-> MASTER_USER='user',
-> MASTER_PASSWORD='password',
-> MASTER_LOG_FILE='mysql-bin.000001',
-> MASTER_LOG_POS=0;

注意最后的两个命令:MASTER_LOG_FILE和MASTER_LOG_POS,表示从库的从哪个二进制文件开始读取,偏移量从那里开始,这两个参数可以从我们导入的SQL里面找到。

MySQL复制以及调优原理的示例分析

开启复制

start slave;

这时候就完成了复制,在主库更新一个数据或者新增数据在从库都可以查询到结果。

MySQL复制以及调优原理的示例分析

在主库上也可以查询的到复制线程的状态。

MySQL复制以及调优原理的示例分析

三. 复制的日志格式

MySQL复制的日志格式有三种,根据主库存放数据的方式不同有以下三种:

复制方式特点优点缺点
row基于行的格式复制,记录需要修改的每行的数据信息。 如果一个SQL修改了2w行的数据,那么就会记录2w行的日志格式保证了数据的强一致性,且由于记录的是执行后的结果,在从库上执行还原也会比较快日志记录数量很多,主从之间的传输需要更多的时间。
statement基于段的日志格式复制,也就是记录下更改的SQL记录,而不是更改的行的记录。日志记录量最小。对于一些输出结果不确定的函数,在从库上执行一遍很可能会出现问题,如uuid,从库根据日志还原主库数据的时候需要执行一遍SQL,时间相对较慢。
mixed混合上面两种日志格式记录记录日志,至于什么时候使用哪种日志方式由MySQL本身决定。可以平衡上面两种日志格式的优缺点。

mysql5.7以前默认使用statement格式。

设置方式,可以在配置文件设置(首选):

binlog_fORMat=ROW

或临时设置全局变量(当前mysql连接有效):

查看日志格式
mysql > show variables like 'binlog_format';
设置日志格式
mysql > set binlog_format='row';

由于两个主从服务器一般都会放在同一个机房里面,两者之间同步的速度会会比较快,为保证强一致性,应该首选行的日志格式记录(row),保证传输素速度可以选择混合方式(mixed)。
而行的日志格式有下面三种记录方式:

记录方式特点
minimal只记录被修改列的数据
full记录被修改的行的全部列的数据
noblob特点同上,只是如果没有修改blob和text类型的列的情况下,不会记录这些列的数据(也就是大数据列)

mysql默认是full,最好修改成minimal。

binlog_row_image=minimal

四. 主从复制延迟

由于主库和从库之间不在同一个主机上,数据同步之间不可以避免地具有延迟,解决的方法有添加缓存,业务层的跳转等待,如果非得从数据库层面去减缓延迟问题,可以从复制时候的三大步骤(主库产生日志,主从传输日志,从库还原日志内容)入手:

1.主库写入到日志的速度

控制主库的事务大小,分割大事务为多个小事务。

如插入20w的数据,改成插入多次5000行(可以利用分页的思路)

2.二进制日志在主从之间传输时间

主从之间尽量在同一个机房或地域。

日志格式改用MIXED,且设置行的日志格式未minimal,原理详见上面的日志格式介绍。

3.减少从库还原日志的时间

在MySQL5.7版本后可以利用逻辑时钟方式分配SQL多线程

设置逻辑时钟:slave_parallel_type=‘logical_clock';

设置复制线程个数:slave_parallel_workers=4;

五. 需要注意的地方

重启MySQL最好切换未MySQL用户再进行操作,不然文件启动后会有权限问题。搭建好MySQL的环境后就设置好配置里的log-bin选项,这样以后如果数据库需要从库的复制,就不需要重启数据库,打断业务的进行。需要打开主库的防火墙的对应的mysql端口。由于从库同步主库的方式,监听主库发送的信息,而不是轮询,因此如果出现通信出现了故障,重新连接后如果主库没有进行数据更改的操作,从库不会同步数据,因此可以通过插入空事务的方式同步数据。

以上是“MySQL复制以及调优原理的示例分析”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注编程网数据库频道!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL复制以及调优原理的示例分析

本文链接: https://www.lsjlt.com/news/57458.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL复制以及调优原理的示例分析
    这篇文章主要介绍MySQL复制以及调优原理的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!一. 简介MySQL自带复制方案,带来好处有:数据备份。负载均衡。分布式数据。概念介...
    99+
    2022-10-18
  • Redis复制原理的示例分析
    这篇文章主要介绍了Redis复制原理的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。前言本文主要介绍Redis复制机制一.配置与实践配置Redis实例分为主节点(ma...
    99+
    2023-06-15
  • Ajax原理及优缺点的示例分析
    这篇文章主要为大家展示了“Ajax原理及优缺点的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Ajax原理及优缺点的示例分析”这篇文章吧。1、ajax技...
    99+
    2022-10-19
  • mysql中复制原理与实践应用的示例分析
    这篇文章主要介绍了mysql中复制原理与实践应用的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。复制功能是将一个mysql数据库上的...
    99+
    2022-10-18
  • mysql主从同步原理、配置以及延迟的示例分析
    小编给大家分享一下mysql主从同步原理、配置以及延迟的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!mysql的主从同步原理、主从同步配置、主从同步延迟,首先我们先来了解什么是主...
    99+
    2022-10-18
  • redis中主从复制原理的的示例分析
    这篇文章将为大家详细讲解有关redis中主从复制原理的的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.复制过程从节点执行 slaveof 命令。从节点只是保存...
    99+
    2022-10-18
  • Ajax工作原理及优缺点的示例分析
    这篇文章将为大家详细讲解有关Ajax工作原理及优缺点的示例分析,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。1.Ajax是什么?全称是 asynchronous javascript and xml,是已...
    99+
    2023-06-08
  • mysql中replication复制的示例分析
    这篇文章主要介绍了mysql中replication复制的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。 1首先主服务器把数据更改...
    99+
    2022-10-19
  • MySQL分区表原理的示例分析
    这篇文章主要为大家展示了“MySQL分区表原理的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“MySQL分区表原理的示例分析”这篇文章吧。1、分区表含义...
    99+
    2022-10-18
  • MySQL视图原理的示例分析
    这篇文章主要介绍MySQL视图原理的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!具体如下:概述视图是一个虚拟表,其内容由查询定义。同真实的表一样,视图包含一系列带有名称的列...
    99+
    2022-10-18
  • MySQL事务的介绍以及示例分析
    这篇文章给大家介绍MySQL事务的介绍以及示例分析,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。1.什么是事务:事务是一个不可分割的工作逻辑单元,在数据库系统上执行并发操作时事务是做为...
    99+
    2022-10-18
  • Ajax原理及使用的示例分析
    这篇文章给大家分享的是有关Ajax原理及使用的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。   Ajax原理   AJAX即“Asynchronous Javasc...
    99+
    2022-10-19
  • MySQL 5.5 复制搭建的示例分析
    这篇文章主要为大家展示了“MySQL 5.5 复制搭建的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“MySQL 5.5 复制搭建的示例分析”这篇文章吧...
    99+
    2022-10-19
  • MySQL半同步复制的示例分析
    这篇文章主要介绍MySQL半同步复制的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!代码分析int repl_semi_report_commit(Trans_pa...
    99+
    2022-10-18
  • MySQL主从复制的原理分析
    本篇文章为大家展示了MySQL主从复制的原理分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。主从复制是怎么实现的呢更新语句会记录 binlog,它是一种逻辑日志。...
    99+
    2022-10-18
  • mysql中视图原理的示例分析
    小编给大家分享一下mysql中视图原理的示例分析,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!一、什么是视图视图是指计算机数据库中的视图,是一个虚拟表,其内容由查询定义。同真实的表一样,视...
    99+
    2022-10-18
  • MYSQL+复制+MHA+VIP配置的示例分析
    这篇文章给大家分享的是有关MYSQL+复制+MHA+VIP配置的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。1、 mysql安装①cmake的安装cp cmake-2....
    99+
    2022-10-18
  • MySQL原理与优化的案例分析
    这篇文章主要介绍MySQL原理与优化的案例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!MySQL是目前互联网公司应用最广泛的数据库软件(DBMS),没有之一。小至初创公司,大至...
    99+
    2022-10-18
  • MySQL中主从复制的原理分析
    今天就跟大家聊聊有关MySQL中主从复制的原理分析,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。1.1.1 MySQL主从复制介绍MySQL数据库支...
    99+
    2022-10-18
  • MySQL数据库主从复制原理及作用分析
    目录1.数据库主从分类:2.mysql主从介绍由来3.主从作用4.主从复制原理5.主从复制配置(数据一致时)5.1主从服务器分别安装mysql5.75.2主数据库与从数据库数据一致5...
    99+
    2022-11-12
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作