iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >MySQL如何实现分表优化
  • 956
分享到

MySQL如何实现分表优化

2024-04-02 19:04:59 956人浏览 八月长安
摘要

这篇文章将为大家详细讲解有关Mysql如何实现分表优化,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。   这里的分表逻辑是根据t_group表的user_nam

这篇文章将为大家详细讲解有关Mysql如何实现分表优化,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。


 
  这里的分表逻辑是根据t_group表的user_name组的个数来分的。
  因为这种情况单独user_name字段上的索引就属于烂索引。起不了啥名明显的效果。
  1、试验PROCEDURE.
 
DELIMITER $$
Drop PROCEDURE `t_girl`.`sp_split_table`$$
Create PROCEDURE `t_girl`.`sp_split_table`()
BEGIN
 declare done int default 0;
 declare v_user_name varchar(20) default '';
 declare v_table_name varchar(64) default '';
 -- Get all users' name.
 declare cur1 cursor for select user_name from t_group group by user_name;
 -- Deal with error or warnings.
 declare continue handler for 1329 set done = 1;
 -- Open cursor.
 open cur1;
 while done <> 1
 do
  fetch cur1 into v_user_name;
  if not done then
   -- Get table name.
   set v_table_name = concat('t_group_',v_user_name);
   -- Create new extra table.
   set @stmt = concat('create table ',v_table_name,' like t_group');
   prepare s1 from @stmt;
   execute s1;
   drop prepare s1;
   -- Load data into it.
   set @stmt = concat('insert into ',v_table_name,' select * from t_group where user_name = ''',v_user_name,'''');
   prepare s1 from @stmt;
   execute s1;
   drop prepare s1;
  end if;
 end while;
 -- Close cursor.
 close cur1;
 -- Free variable from memory.
 set @stmt = NULL;
END$$
DELIMITER ;
 
  2、试验表。
  我们用一个有一千万条记录的表来做测试
 
> select count(*) from t_group;
+----------+
| count(*) |
+----------+
| 10388608 |
+----------+
1 row in set (0.00 sec)
 
  表结构。
 
mysql> desc t_group;
+-------------+------------------+------+-----+-------------------+----------------+
| Field   | Type      | Null | Key | Default     | Extra     |
+-------------+------------------+------+-----+-------------------+----------------+
| id     | int(10) unsigned | NO | PRI | NULL       | auto_increment |
| money   | decimal(10,2)  | NO |  |         |        |
| user_name | varchar(20)   | NO | MUL |         |        |
| create_time | timestamp    | NO |  | CURRENT_TIMESTAMP |        |
+-------------+------------------+------+-----+-------------------+----------------+
4 rows in set (0.00 sec)
 
  索引情况。
 
mysql> show index from t_group;
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
|Table | Non_unique | Key_name    | Seq_in_index | Column_name |Collation | Cardinality | Sub_part | Packed | Null | Index_type |Comment |
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
|t_group |     0 | PRIMARY     |      1 | id     |A    |  10388608 |  NULL | NULL |   | BTREE  |    |
| t_group |     1 | idx_user_name  |     1 | user_name | A    |     8 |  NULL | NULL |   |BTREE   |    |
| t_group |     1 | idx_combination1|      1 | user_name | A    |     8 |  NULL |NULL |   | BTREE   |    |
| t_group |     1 |idx_combination1 |      2 | money   | A    |    3776|  NULL | NULL |   | BTREE   |    |
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+
4 rows in set (0.00 sec)
 
  PS:
  idx_combination1 这个索引是必须的,因为要对user_name来GROUP BY。此时属于松散索引扫描!当然完了后你可以干掉她。
  idx_user_name 这个索引是为了加快单独执行constant这种类型的查询。
  我们要根据用户名来分表
 mysql> select user_name from t_group where 1 group by user_name;
+-----------+
| user_name |
+-----------+
| david  |
| leo   |
| livia  |
| lucy   |
| sarah  |
| simon  |
| sony   |
| sunny  |
+-----------+
8 rows in set (0.00 sec)
 
  所以结果表应该是这样的。
 
mysql> show tables like 't_group_%';
+------------------------------+
| Tables_in_t_girl (t_group_%) |
+------------------------------+
| t_group_david        |
| t_group_leo         |
| t_group_livia        |
| t_group_lucy        |
| t_group_sarah        |
| t_group_simon        |
| t_group_sony        |
| t_group_sunny        |
+------------------------------+
8 rows in set (0.00 sec)
 
  3、对比结果。
 
mysql> select count(*) from t_group where user_name = 'david';
+----------+
| count(*) |
+----------+
| 1298576 |
+----------+
1 row in set (1.71 sec)
 
  执行了将近2秒。
 
mysql> select count(*) from t_group_david;
+----------+
| count(*) |
+----------+
| 1298576 |
+----------+
1 row in set (0.00 sec)
 
  几乎是瞬间的。
 
mysql> select count(*) from t_group where user_name <> 'david';
+----------+
| count(*) |
+----------+
| 9090032 |
+----------+
1 row in set (9.26 sec)
执行了将近10秒,可以想象,这个是实际的项目中是不能忍受的。
mysql> select (select count(*) from t_group) - (select count(*) from t_group_david) as total;
+---------+
| total |
+---------+
| 9090032 |
+---------+
1 row in set (0.00 sec)
 
  几乎是瞬间的。
  我们来看看聚集函数。
  对于原表的操作。
 
mysql> select min(money),max(money) from t_group where user_name = 'david';
+------------+------------+
| min(money) | max(money) |
+------------+------------+
|   -6.41 |  500.59 |
+------------+------------+
1 row in set (0.00 sec)
最小,最大值都是FULL INDEX SCAN。所以是瞬间的。
mysql> select sum(money),avg(money) from t_group where user_name = 'david';
+--------------+------------+
| sum(money) | avg(money) |
+--------------+------------+
| 319992383.84 | 246.417910 |
+--------------+------------+
1 row in set (2.15 sec)
其他聚集函数的结果就不是FULL INDEX SCAN了。耗时2.15秒。
 
  对于小表的操作。
 
mysql> select min(money),max(money) from t_group_david;
+------------+------------+
| min(money) | max(money) |
+------------+------------+
|   -6.41 |  500.59 |
+------------+------------+
1 row in set (1.50 sec)
 
  最大最小值完全是FULL TABLE SCAN,耗时1.50秒,不划算。以此看来。
 
mysql> select sum(money),avg(money) from t_group_david;
+--------------+------------+
| sum(money) | avg(money) |
+--------------+------------+
| 319992383.84 | 246.417910 |
+--------------+------------+
1 row in set (1.68 sec)
 
  取得这两个结果也是花了快2秒,快了一点。
  我们来看看这个小表的结构。
 
mysql> desc t_group_david;
+-------------+------------------+------+-----+-------------------+----------------+
| Field   | Type      | Null | Key | Default     | Extra     |
+-------------+------------------+------+-----+-------------------+----------------+
| id     | int(10) unsigned | NO | PRI | NULL       | auto_increment |
| money   | decimal(10,2)  | NO |  |         |        |
| user_name | varchar(20)   | NO | MUL |         |        |
| create_time | timestamp    | NO |  | CURRENT_TIMESTAMP |        |
+-------------+------------------+------+-----+-------------------+----------------+
4 rows in set (0.00 sec)
 
  明显的user_name属性是多余的。那么就干掉它。
 
mysql> alter table t_group_david drop user_name;
Query OK, 1298576 rows affected (7.58 sec)
Records: 1298576 Duplicates: 0 Warnings: 0
 
  现在来重新对小表运行查询
 
mysql> select min(money),max(money) from t_group_david;
+------------+------------+
| min(money) | max(money) |
+------------+------------+
|   -6.41 |  500.59 |
+------------+------------+
1 row in set (0.00 sec)
 
  此时是瞬间的。
 
mysql> select sum(money),avg(money) from t_group_david;
+--------------+------------+
| sum(money) | avg(money) |
+--------------+------------+
| 319992383.84 | 246.417910 |
+--------------+------------+
1 row in set (0.94 sec)
 
  这次算是控制在一秒以内了。
  mysql> Aborted
  总结一下:分出的小表的属性尽量越少越好。

关于“MySQL如何实现分表优化”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。

您可能感兴趣的文档:

--结束END--

本文标题: MySQL如何实现分表优化

本文链接: https://www.lsjlt.com/news/71491.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL如何实现分表优化
    这篇文章将为大家详细讲解有关MySQL如何实现分表优化,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。   这里的分表逻辑是根据t_group表的user_nam...
    99+
    2024-04-02
  • 如何实现MySQL底层优化:表分区的应用和优势
    如何实现MySQL底层优化:表分区的应用和优势随着大数据时代的到来,数据库的性能需求也越来越高。MySQL作为常用的关系型数据库,为了满足大规模数据存储和高并发访问的需求,提供了表分区的功能。本文将介绍如何实现MySQL底层优化中的表分区,...
    99+
    2023-11-08
    MySQL 优化 分区
  • 如何实现MySQL中优化表的语句?
    《MySQL优化表的语句及具体代码示例》在日常的数据库管理中,优化MySQL表的性能是非常重要的。通过优化表的语句,可以提高查询和更新的速度,减少资源的占用,提高系统的性能。本文将介绍如何通过具体的代码示例来优化MySQL表的性能。优化表结...
    99+
    2023-11-08
    实现 (Implement) MySQL (MySQL) 优化表 (Optimize)
  • 如何优化MySQL表?
    优化 MySQL 表是提高数据库性能和效率的关键一步。通过采用有效的优化技术,您可以提高查询执行速度、降低存储要求并优化资源利用率。本文探讨了优化 MySQL 表的各种策略和最佳实践,使您能够最大限度地提高数据库驱动的应用程序的性能。 在本...
    99+
    2023-10-22
  • mysql分库分表如何实现
    MySQL分库分表可以通过以下几个步骤实现: 水平分库:将原始的单个数据库分成多个独立的数据库。每个数据库可以独立运行在不同的服务...
    99+
    2023-10-27
    mysql
  • MySQL性能优化如何实现
    这篇文章将为大家详细讲解有关MySQL性能优化如何实现,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一般来说,要保证数据库的效率,要做好以下四个方面的工作:数据库表设计S...
    99+
    2024-04-02
  • MySQL中如何实现分库分表
    本篇文章为大家展示了MySQL中如何实现分库分表,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。一、    背景介绍1.大数据...
    99+
    2024-04-02
  • MySQL中怎么优化分表
    MySQL中怎么优化分表,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1、试验PROCEDURE.DELIMITER $$DROP...
    99+
    2024-04-02
  • 如何实现MySQL底层优化:执行计划分析和优化技巧
    实现MySQL底层优化:执行计划分析和优化技巧引言在数据库应用程序的开发和运维中,针对MySQL数据库进行底层优化是非常重要的。MySQL执行计划分析和优化技巧可以帮助开发人员和运维人员提升数据库的性能和稳定性,本文将介绍如何实现MySQL...
    99+
    2023-11-08
    优化技巧 执行计划 底层优化 MySQL优化关键词:
  • 如何实现MySQL底层优化:表设计规范与性能优化技巧
    如何实现MySQL底层优化:表设计规范与性能优化技巧在数据库管理系统中,MySQL是一种常用的关系型数据库。在开发过程中,合理设计数据库表结构和优化数据库性能至关重要。本文将从表设计规范和性能优化技巧两个方面,介绍如何实现MySQL底层优化...
    99+
    2023-11-08
    性能优化技巧 表设计 底层优化 MySQL底层优化关键词:MySQL
  • 如何实现JavaScript if分支优化
    今天小编给大家分享一下如何实现JavaScript if分支优化的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。最近在网上冲浪...
    99+
    2023-07-05
  • mysql如何实现水平分表
    mysql如何实现水平分表?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!Mysql表数据一般达到百万级别,查询效率会很低,...
    99+
    2024-04-02
  • MySQL大表count()的优化实现示例
    小编给大家分享一下MySQL大表count()的优化实现示例,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!今天实验了一下MySQL的count()操作优化, 以下...
    99+
    2023-06-14
  • 如何设计一个优化的MySQL表结构来实现数据分发功能?
    如何设计一个优化的MySQL表结构来实现数据分发功能?在开发数据库应用程序的过程中,我们常常需要将数据分发到不同的表中,以满足在不同的业务场景下的需求。设计一个优化的MySQL表结构来实现数据分发功能,可以提高数据访问效率和查询性能,保证数...
    99+
    2023-10-31
    MySQL表设计 优化表结构 数据分发实现
  • 如何实现MySQL底层优化:数据表的水平和垂直分割策略
    如何实现MySQL底层优化:数据表的水平和垂直分割策略,需要具体代码示例引言:在大型应用场景下,MySQL数据库经常面临着海量数据的存储和查询压力。为了解决这个问题,MySQL提供了数据表的分割策略,包括水平分割(Horizontal Pa...
    99+
    2023-11-08
    MySQL 数据表 底层优化
  • 如何设计一个优化的MySQL表结构来实现数据分析功能?
    如何设计一个优化的MySQL表结构来实现数据分析功能?摘要:随着数据分析的兴起,构建一个高效的数据库表结构成为数据工程师面临的重要问题。本文将介绍如何设计一个优化的MySQL表结构来实现数据分析功能,包括表的规范化、索引的设计以及数据类型的...
    99+
    2023-10-31
    数据分析 MySQL表结构 优化设计
  • mysql中如何优化表释放表空间
    目录mysql优化表释放表空间mysql空间释放查询占用空间大小清理碎片总结mysql优化表释放表空间 方法一:optimize table table_name 这是我们经常见到的...
    99+
    2023-02-18
    mysql优化表 释放表空间 mysql表空间
  • Mysql中如何实现水平分表
    本篇文章给大家分享的是有关Mysql中如何实现水平分表,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。 1.  &...
    99+
    2024-04-02
  • 如何实现MySQL底层优化:数据库分布式架构和性能优化
    抱歉,我无法满足你的要求。...
    99+
    2023-11-08
    性能优化 分布式架构 MySQL优化
  • 如何实现MySQL底层优化:数据统计和分析的应用与优化
    如何实现MySQL底层优化:数据统计和分析的应用与优化随着互联网的迅猛发展,数据对于企业的重要性越来越突出。而MySQL作为一种常用的开源关系型数据库管理系统,其底层优化对于数据统计和分析应用的性能至关重要。本文将重点介绍如何实现MySQL...
    99+
    2023-11-08
    数据分析 优化 数据统计 MySQL底层优化关键词:
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作