iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >Python如何识别MySQL中的冗余索引
  • 858
分享到

Python如何识别MySQL中的冗余索引

2024-04-02 19:04:59 858人浏览 独家记忆
摘要

目录前言脚本介绍表结构Mysql 元数据DEMO 演示sql 查询冗余索引后记前言 最近在搞标准化巡检平台,通过 mysql 的元数据分析一些潜在的问题。冗余索引也是一个非常重要的巡

前言

最近在搞标准化巡检平台,通过 mysql 的元数据分析一些潜在的问题。冗余索引也是一个非常重要的巡检目,表中索引过多,会导致表空间占用较大,索引的数量与表的写入速度与索引数成线性关系(微秒级),如果发现有冗余索引,建议立即审核删除。

PS:之前见过一个客户的数据库上面竟然创建 300 多个索引!?当时的想法是 “他们在玩排列组合呢” 表写入非常慢,严重影响性能和表维护的复杂度。

脚本介绍

表结构

下方是演示的表结构:

CREATE TABLE `index_test03` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL,
  `create_time` varchar(20) NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `uqi_name` (`name`),
  KEY `idx_name` (`name`),
  KEY `idx_name_createtime`(name, create_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

MySQL 元数据

MySQL 可以通过 infORMation_schema.STATISTICS 表查询索引信息:

SELECT * from information_schema.STATISTICS  where TABLE_SCHEMA = 'test02' and TABLE_NAME = 'index_test03';
TABLE_CATALOGTABLE_SCHEMATABLE_NAMENON_UNIQUEINDEX_SCHEMAINDEX_NAMESEQ_IN_INDEXCOLUMN_NAMECOLLATIONCARDINALITYSUB_PARTPACKEDNULLABLEINDEX_TYPECOMMENTINDEX_COMMENT
deftest02index_test030test02PRIMARY1idA0NULLNULL BTREE  
deftest02index_test030test02uqi_name1nameA0NULLNULL BTREE  
deftest02index_test031test02idx_name1nameA0NULLNULL BTREE  
deftest02index_test031test02idx_name_createtime1nameA0NULLNULL BTREE  
deftest02index_test031test02idx_name_createtime2create_timeA0NULLNULL BTREE  

脚本通过获得 STATISTICS 表中的索引信息来分析表中是否存在冗余索引,分析粒度为表级别。

DEMO 演示

需要使用 pandas 模块。

import pandas as pd

df_table_level = pd.read_excel('/Users/cooh/Desktop/STATISTICS.xlsx')

table_indexes = df_table_level['INDEX_NAME'].drop_duplicates().tolist()

_indexes = list()
for index_name in table_indexes:
    index_info = {'index_cols': df_table_level[df_table_level['INDEX_NAME'] == index_name]['COLUMN_NAME'].tolist(),
                  'non_unique': df_table_level[df_table_level['INDEX_NAME'] == index_name]['NON_UNIQUE'].tolist()[0],
                  'index_name': index_name
                  }
    _indexes.append(index_info)

content = ''
election_dict = {i['index_name']: 0 for i in _indexes}

while len(_indexes) > 0:
    choice_index_1 = _indexes.pop(0)

    for choice_index_2 in _indexes:
        # 对比两个索引字段的个数,使用字段小的进行迭代
        min_len = min([len(choice_index_1['index_cols']), len(choice_index_2['index_cols'])])

        # 获得相似字段的个数据
        similarity_col = 0
        for i in range(min_len):
            # print(i)
            if choice_index_1['index_cols'][i] == choice_index_2['index_cols'][i]:
                similarity_col += 1

        # 然后进行逻辑判断
        if similarity_col == 0:
            # print('毫无冗余')
            pass
        else:
            # 两个索引的字段包含内容都相同,说明两个索引完全相同,接下来就需要从中选择一个删除
            if len(choice_index_1['index_cols']) == similarity_col and len(
                    choice_index_2['index_cols']) == similarity_col:
                # 等于 0 表示有唯一约束
                if choice_index_1['non_unique'] == 1:
                    content += '索引 {0} 与索引 {1} 重复, '.format(choice_index_2['index_name'], choice_index_1['index_name'])
                    election_dict[choice_index_1['index_name']] += 1
                elif choice_index_2['non_unique'] == 1:
                    content += '索引 {0} 与索引 {1} 重复, '.format(choice_index_1['index_name'], choice_index_2['index_name'])
                    election_dict[choice_index_2['index_name']] += 1
                else:
                    content += '索引 {0} 与索引 {1} 重复, '.format(choice_index_2['index_name'], choice_index_1['index_name'])
                    election_dict[choice_index_1['index_name']] += 1

            elif len(choice_index_1['index_cols']) == similarity_col and choice_index_1['non_unique'] != 0:
                content += '索引 {0} 与索引 {1} 重复, '.format(choice_index_2['index_name'], choice_index_1['index_name'])
                election_dict[choice_index_1['index_name']] += 1

            elif len(choice_index_2['index_cols']) == similarity_col and choice_index_1['non_unique'] != 0:
                content += '索引 {0} 与索引 {1} 重复, '.format(choice_index_1['index_name'], choice_index_2['index_name'])
                election_dict[choice_index_2['index_name']] += 1

redundancy_indexes = list()
for _k_name, _vote in election_dict.items():
    if _vote > 0:
        redundancy_indexes.append(_k_name)

content += '建议删除索引:{0}'.format(', '.join(redundancy_indexes))

print(content)

输出结果:

索引 uqi_name 与索引 idx_name 重复, 索引 idx_name_createtime 与索引 idx_name 重复, 建议删除索引:idx_name

SQL 查询冗余索引

MySQL 5.7 是可以直接通过 sys 元数据库中的视图来查冗余索引的,但是云上 RDS 用户看不到 sys 库。所以才被迫写这个脚本,因为实例太多了,一个一个看不现实。如果你是自建的 MySQL,就不用费那么大劲了,直接使用下面 SQL 来统计。

select * from sys.schema_redundant_indexes;

后记

删除索引属于高危操作,删除前需要多次 check 后再删除。上面是一个 demo 可以包装成函数,使用 pandas 以表为粒度传入数据,就可以嵌入到程序中。有问题欢迎评论沟通。

到此这篇关于python 识别 MySQL 中的冗余索引的文章就介绍到这了,更多相关MySQL冗余索引内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: Python如何识别MySQL中的冗余索引

本文链接: https://www.lsjlt.com/news/120799.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Python如何识别 MySQL 中的冗余索引
    目录前言脚本介绍表结构mysql 元数据DEMO 演示SQL 查询冗余索引后记前言 最近在搞标准化巡检平台,通过 MySQL 的元数据分析一些潜在的问题。冗余索引也是一个非常重要的巡检目,表中索引过多,会导致表空间占用较...
    99+
    2022-10-18
  • Python如何识别MySQL中的冗余索引
    目录前言脚本介绍表结构MySQL 元数据DEMO 演示SQL 查询冗余索引后记前言 最近在搞标准化巡检平台,通过 MySQL 的元数据分析一些潜在的问题。冗余索引也是一个非常重要的巡...
    99+
    2022-11-11
  • MySQL中冗余和重复索引的区别说明
    MySQL允许在单个列上创建多个索引,无论是有意还是无意,MySQL需要单独维护这些重复索引,优化器在优化查询时也需要逐个考虑这会影响MySQL的性能 概念阐述 重复索引: 在相同的列上按照相同的顺序创建的相同类型的...
    99+
    2022-05-23
    MySQL 冗余 重复索引
  • mysql中冗余和重复索引的区别及作用
    下面讲讲关于mysql中冗余和重复索引的区别及作用,文字的奥妙在于贴近主题相关。所以,闲话就不谈了,我们直接看下文吧,相信看完mysql中冗余和重复索引的区别及作用这篇文章你一定会有所受益。mysql允许在...
    99+
    2022-10-18
  • MySQL中的索引如何优化
    这篇文章主要介绍了MySQL中的索引如何优化的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇MySQL中的索引如何优化文章都会有所收获,下面我们一起来看看吧。使用索引优化索引是数...
    99+
    2023-03-01
    mysql
  • MySQL中InnoDB引擎如何对索引的扩展
    MySQL中InnoDB引擎如何对索引的扩展,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。InnoDB引擎对索引的扩展,自动追加主键值及其对执...
    99+
    2022-10-18
  • 互联网中搜索引擎如何识别链接作弊的示例分析
    这篇文章主要为大家展示了“互联网中搜索引擎如何识别链接作弊的示例分析”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“互联网中搜索引擎如何识别链接作弊的示例分析”这篇文章吧。  首先,在谈论识别链接...
    99+
    2023-06-10
  • 如何实现MySQL中删除索引的语句?
    如何实现MySQL中删除索引的语句?在MySQL中,索引是提高查询性能的重要工具之一。然而,有时候我们需要删除某个表的索引,可能是因为索引不再使用或者需要重新设计。本文将介绍如何在MySQL中删除索引的语句,并给出具体的代码示例。在MySQ...
    99+
    2023-11-08
    删除索引 (Delete index) MySQL 删除索引 (MySQL delete index) 删除MySQL
  • 如何实现MySQL中创建索引的语句?
    MySQL索引是提高数据检索速度的重要手段之一,它通过将数据存储在特定的数据结构中,加快了查询语句的执行速度。在MySQL中创建索引的语句非常简单,只需要在创建表的时候在相关字段后加上索引关键字即可。本文将为读者详细介绍如何在MySQL中创...
    99+
    2023-11-08
    MySQL索引创建 实现MySQL索引 创建MySQL索引语句
  • MySQL中如何导出索引的创建语句
    本篇文章给大家分享的是有关MySQL中如何导出索引的创建语句,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。SELECT CONCA&#...
    99+
    2022-10-18
  • 如何在Python中实现二维码的索引和检索?
    二维码已经成为了现代生活中不可或缺的一部分。从商业应用到个人生活,我们都可以看到二维码的身影。在Python中实现二维码的索引和检索是一个有趣且有用的挑战。在本篇文章中,我们将介绍如何使用Python实现二维码的索引和检索,并提供一些演示代...
    99+
    2023-09-09
    二维码 开发技术 索引
  • MYSQL如何识别一个binlog中的一个事物
    原创水平有限 测试版本5.7.14 设置GTID_MODE=ON ON(3): Both new and replicated transactions must be GTID transactions...
    99+
    2022-10-18
  • 如何利用Python识别图片中的文字
    这篇文章将为大家详细讲解有关如何利用Python识别图片中的文字,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。一、Tesseract文字识别是ORC的一部分内容,ORC的意思是光学字符识别,通俗讲就是文字...
    99+
    2023-06-15
  • MySQL中如何创建高效且合适的索引
    这篇文章主要介绍了MySQL中如何创建高效且合适的索引,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。1. 当使用索引列进行查询的时候尽量不要...
    99+
    2022-10-18
  • 如何使用关键字索引Python中的path?
    Python是一种非常流行的编程语言,特别是在数据科学和机器学习领域。在Python中,path(路径)在文件操作中是非常重要的,因为它告诉Python在哪里找到文件或将文件保存到哪里。本文将介绍如何在Python中使用关键字索引path,...
    99+
    2023-10-10
    索引 path 关键字
  • 如何在Python中处理图像识别的问题
    如何在Python中处理图像识别的问题,具体代码示例图像识别是人工智能领域中一个重要的应用方向,它的目标是让计算机具备识别图像内容的能力。在Python中,我们可以使用一些开源库来处理图像识别的问题,本文将介绍如何利用OpenCV和Tens...
    99+
    2023-10-22
    Python 识别 图像处理
  • python 如何在list中找Topk的数值和索引
    需求: 对于一个python list 或者numpy数组,我需要找到这个list中最大的K个数及其对应的下标。 解决方式: 可以构造字典通过排序解决,不过代码量较多。 使用heapq库,可以直接获取最大值的下标...
    99+
    2022-06-02
    python list Topk数值索引
  • 如何使用Python中的列表切片和索引
    如何使用Python中的列表切片和索引列表是Python中常用的数据结构之一,可以存储多个元素。在实际开发中,经常需要对列表进行操作,其中列表切片和索引是非常常用的功能。本文将介绍如何使用Python中的列表切片和索引,并提供具体的代码示例...
    99+
    2023-10-22
    Python 列表 切片和索引
  • 如何用python识别滑块验证码中的缺口
    目录一、缺口识别 1.读取图片 2.识别图片边缘 3.缺口匹配 二、完整代码 验证码往往是爬虫路上的一只拦路虎,而其花样也是层出不穷:图片验证、滑块验证、交互式验证、行为验证等。随着...
    99+
    2022-11-12
  • 如何利用Python识别图片中的文字详解
    一、Tesseract 文字识别是ORC的一部分内容,ORC的意思是光学字符识别,通俗讲就是文字识别。Tesseract是一个用于文字识别的工具,我们结合Python使用可以很快的实...
    99+
    2022-11-12
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作