广告
返回顶部
首页 > 资讯 > 数据库 >MySQL数据延迟跳动的问题解决
  • 194
分享到

MySQL数据延迟跳动的问题解决

MySQL数据MySQL数据延迟跳动 2022-05-16 03:05:36 194人浏览 泡泡鱼
摘要

今天分析了另外一个关于数据库延迟跳动的问题,也算是比较典型,这个过程中也有一些分析问题的方法和技巧工参考。 首先在高可用检测中,有一套环境的检测时断时续,经过排查发现是数据库产生了延迟,在登录到从库show slav

今天分析了另外一个关于数据库延迟跳动的问题,也算是比较典型,这个过程中也有一些分析问题的方法和技巧工参考。

首先在高可用检测中,有一套环境的检测时断时续,经过排查发现是数据库产生了延迟,在登录到从库show slave status查看,会发现Seconds_behind_master的值是不断跳动的,即从0~39~0~39这样的频率不断跳动,让人很搓火。

查看数据库的相关日志发现竟然没有任何可以参考的日志记录,怎么分析这个问题呢,我们先来复现,于是我按照节奏抓取了3次问题出现的日志,即通过show slave status连续监测,抓取show slave status输出的结果保存下来,这样我们就得到了一个问题发生过程中的偏移量变化,而这个变化则是在sqlThread在回放过程中产生的问题。

比如下面的一段输出,我截取的是Slave端的relay log进行分析,相应的字段为Relay_Log_Pos


Slave_io_State: Waiting for master to send event
         Master_Host: xxxx
         Master_User: dba_repl
         Master_Port: 4306
        Connect_Retry: 60
       Master_Log_File: Mysqlbin.000044
     Read_Master_Log_Pos: 386125369
        Relay_Log_File: slave-relay-bin.000066
        Relay_Log_Pos: 386125580
    Relay_Master_Log_File: mysqlbin.000044

所以很快得到了偏移量的变化情况:385983806 ,386062813 ,386125580

接着我使用mysqlbinlog开始分析这些日志过程中的明细,根据如下的命令可以很快得到转储的日志中相关的表有3张。


# grep INSERT relaylog_xxxx.dump |awk '{print $3 " " $4}'|sed 's/INTO//g'|sort|uniq
 act_action_exec_info
 act_join_desc
 dic_subsidy_marketing_querylog_202008
 

我逐步分析了每张表的数据操作情况,得到的信息还是比较有限,继续做更进一步的分析,比如我们分析一下整个日志中的事务量大小:


# mysqlbinlog slave-relay-bin.000066 | grep "GTID$(printf '\t')last_committed" -B 1 \
>                   | grep -E '^# at' | awk '{print $3}' \
>                   | awk 'NR==1 {tmp=$1} NR>1 {print ($1-tmp);tmp=$1}' \
>                   | sort -n -r | head -n 100
mysqlbinlog: [Warning] unknown variable 'loose-default-character-set=utf8'
5278
5268
5268
5268
5253
5253
5253
5253
5253

可以看到是5K左右,算是比较大了,而这些额外的信息从哪里获得呢,我在主库开启了general_log,这样就能够得到更细粒度的操作日志了。

进一步分析发现,整个业务使用了显示事务的方式:SET autocommit=0,整个事务中包含了几个大SQL,里面存储了很多操作日志明细,而且在事务操作过程中还基于mybatis框架调用了多次select count(1) from xxx的操作。

经过和业务沟通也基本明确了以上问题。

以上就是MySQL数据延迟跳动的问题解决的详细内容,更多关于MySQL数据延迟跳动的资料请关注自学编程网其它相关文章!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL数据延迟跳动的问题解决

本文链接: https://www.lsjlt.com/news/9755.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL数据延迟跳动的问题解决
    今天分析了另外一个关于数据库延迟跳动的问题,也算是比较典型,这个过程中也有一些分析问题的方法和技巧工参考。 首先在高可用检测中,有一套环境的检测时断时续,经过排查发现是数据库产生了延迟,在登录到从库show slav...
    99+
    2022-05-16
    MySQL 数据 MySQL 数据延迟跳动
  • 如何理解MySQL数据延迟跳动的问题
    本篇内容主要讲解“如何理解MySQL数据延迟跳动的问题”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何理解MySQL数据延迟跳动的问题”吧!首先在高可用检测中...
    99+
    2022-10-18
    mysql
  • MySQL主从延迟问题解决
    今天我们就来看看为什么会产生主从延迟以及主从延迟如何处理等相关问题。 坐好了,准备发车! 主从常见架构 随着日益增长的访问量,单台数据库的应接能力已经捉襟见肘。因此采用主库写数据,从库读数据这种将读写分离开的主从...
    99+
    2022-05-11
    mysql 主从 mysql 主从延迟 mysql 主从延迟解决
  • MySQL主从延迟问题怎么解决
    本篇内容主要讲解“MySQL主从延迟问题怎么解决”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MySQL主从延迟问题怎么解决”吧!什么是主从延迟在讨论如何解决主...
    99+
    2022-10-19
    mysql
  • 怎么解决MySQL主从延迟问题
    这篇文章主要介绍“怎么解决MySQL主从延迟问题”,在日常操作中,相信很多人在怎么解决MySQL主从延迟问题问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么解决MySQL主...
    99+
    2022-10-18
    mysql
  • mysql如何解决主从延迟问题
    mysql解决主从延迟问题的方法:在命令行设置参数slave_parallel_workers的值大于0和slave_parallel_type='LOGICAL_CLOCK'。选择合适的分库、分表策略,避免单表单库过大。避免被无用的I/O...
    99+
    2022-10-24
    msql mysql数据库
  • MySQL主从数据库同步延迟问题怎么解决
    这篇文章主要讲解了“MySQL主从数据库同步延迟问题怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“MySQL主从数据库同步延迟问题怎么解决”吧!My...
    99+
    2022-10-18
    mysql 数据库
  • MySQL延迟问题和数据刷盘策略
    1、绝对的延时,相对的同步 2、纯写操作,线上标准配置下,从库压力大于主库,最起码从库有relaylog的写入。 二、MySQL延迟问题分析 1、主库DML请求频繁 原因:主库并发写入数据,而从库为单线程应用日志,很容易造成rela...
    99+
    2017-02-24
    MySQL延迟问题和数据刷盘策略
  • 解决v2rayN的延迟是-1的问题
    为什么我的v2rayN的延迟是-1 错误示例错误原因解决方法 本博客解决为什么v2rayN的延迟是-1的问题。 错误示例 v2rayN的错误如下所示,其中延迟是-1,速度也是-1,或者速度是The operation ...
    99+
    2023-08-22
    服务器 网络 linux https tcp/ip
  • MySQL复制滞后、延迟问题及解决方法
    确认复制延迟的方法 执行 mysql>show slave status\G 如果"seconds_behind_master"不为"...
    99+
    2022-10-18
    mysql 滞后 解决
  • 怎么解决Mysql中Slave延迟很大并且不动了问题
    这篇文章主要介绍“怎么解决Mysql中Slave延迟很大并且不动了问题”,在日常操作中,相信很多人在怎么解决Mysql中Slave延迟很大并且不动了问题问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操...
    99+
    2022-10-19
    mysql
  • MySQL主从延迟、读写分离问题如何解决
    本文小编为大家详细介绍“MySQL主从延迟、读写分离问题如何解决”,内容详细,步骤清晰,细节处理妥当,希望这篇“MySQL主从延迟、读写分离问题如何解决”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,...
    99+
    2022-10-19
    mysql
  • springboot jpa 延迟加载问题的2种解决
    springboot jpa 延迟加载问题 在springboot中,在application.properties的配置文件中新增spring.jpa.open-in-view=t...
    99+
    2022-11-12
    springboot加载 springboot jpa 延迟加载
  • 如何解决MySQL中主从延迟与读写分离的问题
    小编给大家分享一下如何解决MySQL中主从延迟与读写分离的问题,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!前言:我们都知道互联网数据有个特性,大部分场景都是 读...
    99+
    2023-06-29
  • 教你彻底解决MySQL 5.7 主从复制的延迟问题方法
    本文主要给大家简单讲讲彻底解决MySQL 5.7 主从复制的延迟问题方法,相关专业术语大家可以上网查查或者找一些相关书籍补充一下,这里就不涉猎了,我们就直奔主题吧,希望彻底解决MySQL 5.7 主从复制的...
    99+
    2022-10-18
    mysql 延迟问题
  • 如何解决香港服务器延迟高的问题
    香港服务器延迟高的解决方法:1、减少http请求次数;2、尽量使用静态页面;3、优化香港服务器网站代码;4、利用香港服务器里面的Gzip页面压缩功能;5、对香港服务器的网站使用iframe嵌入网络广告;6、提高香港服务器的配置。具体内容如下...
    99+
    2022-10-09
    服务器 香港服务器
  • 香港服务器延迟高的问题怎么解决
    解决香港服务器延迟高的方法有:1、减少香港服务器网站的http请求次数;2、尽量使用静态页面来部署香港服务器网站;3、简化香港服务器网站代码结构;4、利用香港服务器里面的Gzip页面压缩功能;5、对香港服务器的网站使用iframe嵌入网络广...
    99+
    2022-10-06
    服务器 香港服务器
  • 主从同步的延迟问题、原因及解决方案
    主从同步的延迟问题、原因及解决方案 MySQL的主从同步在实际使用过程中会有从库延迟的问题,那么为什么会有这种问题呢 如何避免这种问题呢 情况一: 从服务器配置过低导致延迟 这类延迟场景的出现往往是主节点拥有较大规格的配置,而只...
    99+
    2023-08-31
    数据库 服务器 mysql Powered by 金山文档
  • 如何解决美国服务器的网络延迟问题
    解决美国服务器网络延迟的方法:1、引进国际专线接入,降低访问速度延迟问题;2、对中国大陆方向带宽进行全面的优化;3、给美国服务器接入CDN加速服务,提高网络速度,改善网络访问质量。具体内容如下:引进国际专线接入国际专线接入是指建立专门的网络...
    99+
    2022-10-19
    服务器 美国服务器
  • MySQL中延迟问题和数据刷盘策略流程的示例分析
    这篇文章给大家分享的是有关MySQL中延迟问题和数据刷盘策略流程的示例分析的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、MySQL复制流程官方文档流程如下:MySQL延迟问题...
    99+
    2022-10-18
    mysql
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作