iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >MySQL数据库的字段什么时候可以拆分
  • 275
分享到

MySQL数据库的字段什么时候可以拆分

2024-04-02 19:04:59 275人浏览 八月长安
摘要

这篇文章主要为大家展示了“Mysql数据库的字段什么时候可以拆分”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“mysql数据库的字段什么时候可以拆分”这篇文章吧

这篇文章主要为大家展示了“Mysql数据库的字段什么时候可以拆分”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“mysql数据库的字段什么时候可以拆分”这篇文章吧。

  在数据库的维护当中对表的垂直才分是必然的,基本上在业务刚开始准守 3NF 是明智的,当然也可以有一些反范式的设计。但是,建议还是应该在3NF的基础上再酌情考虑反范式。

  当遇到真的要对一些表进行拆分,那要拆那些字段嘞?下面我们就来分析一下。

  在新业务上线后导致TPS突然增高,这时我们对新上的业务又不是很懂。而问题又要分析解决。

  分析解决步骤

  解析近期生成的binlog文件获得是哪个表哪个字段操作的多。

  这边使用到了 吴炳锡 大神的一个工具 parsebinlog。

  该工具可以解析出表的操作情况。

  上面工具只能解析单个binlog文件的操作,如果要解析多个文件的可以使用 笔者的工具 pasrebinlog_stat.py。

  pasrebinlog_stat.py 是对执行parsebinlog解析完之后的数据进行的统计生成excel文件的工具。

  具体使用方法(在GitHub最后有一点小小的说明):https://github.com/daiguadaidai/mysql-binlog-statistic。

  使用笔者的方法统计后会生成 5 个文件:

  ll

  -rw-rw-r-- 1 manager manager 58191 Sep 6 17:18 fORMat.txt

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_delete.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_insert.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_total.xls

  -rw-rw-r-- 1 manager manager 100352 Sep 6 17:18 sort_by_update.xls

  如果关心update操作可以查看sort_by_update.xls 其中是按update操作次数降序排列的。

  然后根据要了解的 表名 到format.txt中查看哪个字段更新平凡。

  查看解析出的文件相关 excel

  如这边我在sort_by_update.xls文件中看到 t1 表在定义行,说明他的总update量最多。

  然后在format.txt找到 t1 表的统计格式如下:

  Table `app_db`.`easy_channel_item`:

  Type TOTAL opt: 440353

  Type INSERT opt: 8049

  Type DELETE opt: 1419

  Type UPDATE opt: 430885

  28 col : 517

  23 col : 145

  7 col : 379383

  6 col : 46449

  12 col : 2

  13 col : 2

  9 col : 21

  8 col : 21

  5 col : 4102

  4 col : 3853

  26 col : 3

  27 col : 173

  21 col : 136

  24 col : 3

  25 col : 116

  从上可以很清楚的看到 '6 col' 和 '7 col'操作占用了大多的update操作。

  通过查看数据库表结构可以知道这两个字段分表是 price 和 inventory。

  拆分字段

  知道了哪个表的那个字段update频繁,可以先将字段从表中剥离出单独的表。至于需要不要开另外的库需要看会不会对其他主要业务有影响(如:下单付款等)。如果有影响在拆到其他库中。

  拆出来的目的主要是为了让每一个page能存储更多的数据,并且不会让 t1 表的数据在缓存中能保存的更长久,不会出现平凡的age out 显现(没有解决TPS高的问题)。

  对于要提高TPS一般有两种方法

  第一种:将TPS分散,也就是需要将表进行分区到不同库(一般这样要考虑的东西太多。数据量不大一般不考虑)。

  第二种:使用能提供更高TPS的产品(这边建议 Redis 是不错的选择)。

  这边排除第一种

  使用第二种:

  更具时间经验值:一般使用redis 能提供 TPS:3-5W 更具机器情况还有所提高。

  QPS:7-10W 更具机器情况还有所提高。

  对于我们的TPS的情况 3-5W TPS 的redis一般能够胜任

  这边主要担心的就是有关 持久化 的问题,这就是架构上需要设计的了。

  redis 自身具有持久化功能,每秒持久化一次。

  更具我们 同步的情况其实同步可以忍受短时间不实时现象。如果出现redis失效(宕机或怎么的可以重启redis重新同步所有数据)。

  可以搭建 redis的master-slave 或 cluster 都行这样就能很好的解决一台redis宕机问题。

  可以根据 数据库软件设计的某些原理和借鉴秒杀架构,在后台不定期的将redis的数据同步到MySQL。

  步骤可以有:

  先将相关数据 格式化 的写入到日志文件(有能力提供消息队列更好)。

  写入日志成功之后再将数据在redis做操作。确保出问题有数据库可查。

以上是“MySQL数据库的字段什么时候可以拆分”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注编程网数据库频道!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL数据库的字段什么时候可以拆分

本文链接: https://www.lsjlt.com/news/71391.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL数据库的字段什么时候可以拆分
    这篇文章主要为大家展示了“MySQL数据库的字段什么时候可以拆分”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“MySQL数据库的字段什么时候可以拆分”这篇文章吧...
    99+
    2024-04-02
  • mysql隐藏字段rowid在什么时候是可见的
    今天小编给大家分享的是mysql隐藏字段rowid在什么时候是可见的,相信很多人都不太了解,为了让大家更加了解,所以给大家总结了以下内容,一起往下看吧。一定会有所收获的哦。通过我自己的一番实战,可以确定的是...
    99+
    2024-04-02
  • mysql什么时候可以使用索引
    这篇文章主要介绍mysql什么时候可以使用索引,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!            &nb...
    99+
    2024-04-02
  • win11可以安装的时间是什么时候
    本篇内容介绍了“win11可以安装的时间是什么时候”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!win11什么时候可以安装答:预览版现在就可...
    99+
    2023-07-01
  • 什么时候才是微服务拆分的最佳时机?
    提到微服务,服务拆分是绕不过去的话题,但是微服务不是说拆就能拆的,需要很多的前提条件。首先,首先在基础设施层面,要有一个持续集成的平台,使得服务在拆分的过程中,功能的一致性,这种一致性不能通过人的经验来,而需要经过大量的回归测试集,并且持续...
    99+
    2023-06-05
  • 什么时候可以考虑使用MySQL MEMORY引擎
    通常使用MEMORY涉及到以下特性: 1.操作相关的短暂的,非重要数据的管理或者cache,当MySQL进程夯住或服务重启,MEMORY表的数据就会丢失。 2.内存存储访问快速,并且延迟低。数据可以填充到内...
    99+
    2024-04-02
  • mysql数据库可以用来干什么
    mysql数据库可以用来干什么?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。mysql数据库可以用来干什么MySQL是一种开放...
    99+
    2024-04-02
  • mysql中字符串拆分函数是什么
    这篇文章主要介绍了mysql中字符串拆分函数是什么,此处通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考价值,需要的朋友可以参考下:无分隔符的字符串截取题目要求数据库中字段值:实现效果:需要将一行数据变成多行实现的sqlS...
    99+
    2023-06-06
  • mysql数据库怎么增加字段
    要在MySQL数据库中增加字段,可以使用ALTER TABLE语句。具体步骤如下: 打开MySQL数据库管理工具,连接到要操作的...
    99+
    2024-04-09
    mysql
  • mysql怎么增加数据库字段
    要在MySQL数据库中增加字段,需要使用ALTER TABLE语句。以下是一个示例: ALTER TABLE table_name ...
    99+
    2024-04-09
    mysql
  • mysql怎么查询数据库某个字段的数据
    小编给大家分享一下mysql怎么查询数据库某个字段的数据,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!mysql查询数据库某个字段的方法:通过SELECT语句,使用“SELECT &l...
    99+
    2024-04-02
  • 数据库中​ 为什么需要拆分表
    小编给大家分享一下数据库中 为什么需要拆分表,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!数据库拆分表可分为水平拆分和垂直拆分,...
    99+
    2024-04-02
  • mysql、clickhouse查询数据库所有的表以及字段信息
    mysql查询数据库所有的表以及字段信息 SELECT     table_schema 数据库名,   table_name 表名,   COLUMN_NAME 列名,   COLUMN_TYPE 数据类型,   DATA_TYP...
    99+
    2023-09-29
    数据库 sql mysql
  • 数据库的等待事件什么时候会出现
    这篇文章主要介绍“数据库的等待事件什么时候会出现”,在日常操作中,相信很多人在数据库的等待事件什么时候会出现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”数据库的等待事件什么...
    99+
    2024-04-02
  • node可以使用什么数据库
    这篇文章主要介绍了node可以使用什么数据库的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇node可以使用什么数据库文章都会有所收获,下面我们一起来看看吧。 ...
    99+
    2024-04-02
  • Java项目中,MySQL数据库中的时间字段用哪个?
    1.timestamp:                 自带时区属性,该类型的字段会随着服务器时区的变化而变化,自动换算成相应时区的时间,存储形式为:yyyy-MM-dd HH:mm:ss,对应的Java类型为java.sql.Times...
    99+
    2023-08-31
    mysql java
  • mysql中在一个表中新增字段的时候,使用alter table的时候,add和add column的区别是什么?
    在 MySQL 中使用 ALTER TABLE 语句来修改表结构,包括添加新的字段。**在 ALTER TABLE 语句中,可以使用 ADD 或 ADD COLUMN 关键字来添加新的字段。**它们的...
    99+
    2023-09-08
    mysql 数据库 sql
  • mysql数据库时间字段条件操作怎么善用TO_DAYS函数
    本篇文章给大家分享的是有关mysql数据库时间字段条件操作怎么善用TO_DAYS函数,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。to_day...
    99+
    2024-04-02
  • oracle数据库怎么查询什么时候修改过
    oracle 数据库提供了以下方法查询表修改时间:last_change 伪列:返回该表中任何记录最后修改的时间戳。user_tab_modifications 视图:存储有关表结构更改...
    99+
    2024-04-18
    oracle
  • MySQL数据库中性别字段应该使用什么数据类型?
    在MySQL数据库中,性别字段通常可以使用ENUM类型来存储。ENUM是一种枚举类型,它允许我们在一组预定义的值中选择一个作为字段的值。在表示性别这样一个固定且有限的选项时,ENUM是...
    99+
    2024-03-14
    mysql 数据类型 性别
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作