广告
返回顶部
首页 > 资讯 > 数据库 >MySQL参数调优的最佳实践是怎么样的
  • 735
分享到

MySQL参数调优的最佳实践是怎么样的

2024-04-02 19:04:59 735人浏览 泡泡鱼
摘要

这期内容当中小编将会给大家带来有关Mysql参数调优的最佳实践是怎么样的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。 前言很多时候,RDS用

这期内容当中小编将会给大家带来有关Mysql参数调优的最佳实践是怎么样的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。

前言
很多时候,RDS用户经常会问如何调优RDS mysql的参数,为了回答这个问题,写一篇blog来进行解释:


哪一些参数不能修改,那一些参数可以修改;
这些提供修改的参数是不是已经是最佳设置,如何才能利用好这些参数;
哪些参数可以改
细心的用户在购买RDS的时候都会看到,不同规格能够提供的最大连接数以及内存是不同的,所以这一些产品规格的限制参数:连接数、内存用户是不能够修改的,如果内存或者连接数出现了瓶颈:


内存瓶颈:实例会出现OOM,然后导致主备发生切换
连接数瓶颈:应用不能新建立连接到数据库
则需要进行应用优化、慢sql优化或者进行弹性升级实例规格来解决。


还有一些涉及主备数据安全的参数比如innodb_flush_log_at_trx_commit、sync_binlog、gtid_mode、semi_sync、binlog_fORMat等为了保证主备的数据安全,目前还暂不提供给用户进行修改。


除上述的这些参数外,绝大部分的参数都已经由DBA团队和源码团队优化过,用户不需要过多调整线上的参数就可以把数据库比较好的运行起来。但这些参数只是适合大多数的应用场景,个别特殊的场景还是需要个别对待,比如使用了tokudb引擎,这个时候就需要调整tokudb引擎能使用的内存比例(tokudb_buffer_pool_ratio);又比如我的应用特点本身需要很大的一个超时时间,那么则需要调整innodb_lock_wait_timeout参数的大小以适应应用等等。


如何调参数
下面我将把控制台中能够修改的一些比较重要的参数给大家介绍一下,这些参数如果设置不当,则可能会出现性能问题或应用报错。


open_files_limit
作用:该参数用于控制MySQL实例能够同时打开使用的文件句柄数目。
原因:当数据库中的表(MyISAM 引擎表在被访问的时候需要消耗文件描述符,InnoDB引擎会自己管理已经打开的表—table_open_cache)打开越来越多后,会消耗分配给每个实例的文件句柄数目,RDS在起初初始化实例的时候设置的open_files_limit为8192,当打开的表数目超过该参数则会导致所有的数据库请求报错误。
现象:如果参数设置过小可导致应用报错
[ERROR] /mysqld: Can't open file: './mysql/user.frm' (errno: 24 -Too many open files);
建议:提高open_files_limit的值,RDS目前可以支撑最大为65535,,同时建议替换MyISAM存储引擎为InnoDB引擎。


back_log
作用:MySQL每处理一个连接请求的时候都会对应的创建一个新线程与之对应,那么在主线程创建新线程期间,如果前端应用有大量的短连接请求到达数据库,MySQL 会限制此刻新的连接进入请求队列,由参数back_log控制,如果等待的连接数量超过back_log,则将不会接受新的连接请求,所以如果需要MySQL能够处理大量的短连接,需要提高此参数的大小。
现象:如果参数过小可能会导致应用报错
SQLSTATE[HY000] [2002] Connection timed out;
建议:提高此参数值的大小,注意需要重启实例,RDS在起初初始化的值的默认值是50,现在初始化值已经调大了3000。


innodb_autoinc_lock_mode
作用:在MySQL5.1.22后,InnoDB为了解决自增主键锁表的问题,引入了参数innodb_autoinc_lock_mode,用于控制自增主键的锁机制,该参数可以设置的值为0/1/2,RDS 默认的参数值为1,表示InnoDB使用轻量级别的mutex锁来获取自增锁,替代最原始的表级锁,但是在load data(包括:INSERT … SELECT, REPLACE … SELECT)场景下会使用自增表锁,这样会则可能导致应用在并发导入数据出现死锁。
现象:如果应用并发使用load data(包括:INSERT … SELECT, REPLACE … SELECT)导入数据的时候出现死锁:
RECORD LOCKS space id xx page no xx n bits xx index PRIMARY of table xx.xx trx id xxx lock_mode X insert intention waiting. TABLE LOCK table xxx.xxx trx id xxxx lock mode AUTO-INC waiting;
建议:建议将参数设置改为2,则表示所有情况插入都使用轻量级别的mutex锁(只针对row模式),这样就可以避免auto_inc的死锁,同时在INSERT … SELECT 的场景下会提升很大的性能(注意该参数设置为2,binlog的格式需要设置为row)。


query_cache_size
作用:该参数用于控制MySQL query cache的内存大小;如果MySQL开启query cache,再执行每一个query的时候会先锁住query cache,然后判断是否存在query cache中,如果存在直接返回结果,如果不存在,则再进行引擎查询等操作;同时insert、update和delete这样的操作都会将query cahce失效掉,这种失效还包括结构或者索引的任何变化,cache失效的维护代价较高,会给MySQL带来较大的压力,所以当我们的数据库不是那么频繁的更新的时候,query cache是个好东西,但是如果反过来,写入非常频繁,并集中在某几张表上的时候,那么query cache lock的锁机制会造成很频繁的锁冲突,对于这一张表的写和读会互相等待query cache lock解锁,导致select的查询效率下降。
现象:数据库中有大量的连接状态为checking query cache for query、Waiting for query cache lock、storing result in query cache;
建议:RDS默认是关闭query cache功能的,如果您的实例打开了query cache,当出现上述情况后可以关闭query cache;当然有些情况也可以打开query cache,比如:巧用query cache解决数据库性能问题。


net_write_timeout
作用:等待将一个block发送给客户端的超时时间。
现象:参数设置过小可能导致客户端报错the last packet successfully received from the server was milliseconds aGo,the last packet sent successfully to the server was milliseconds ago。
建议:该参数在RDS中默认设置为60S,一般在网络条件比较差的时,或者客户端处理每个block耗时比较长时,由于net_write_timeout设置过小导致的连接中断很容易发生,建议增加该参数的大小;


tmp_table_size
作用:该参数用于决定内部内存临时表的最大值,每个线程都要分配(实际起限制作用的是tmp_table_size和max_heap_table_size的最小值),如果内存临时表超出了限制,MySQL就会自动地把它转化为基于磁盘的MyISAM表,优化查询语句的时候,要避免使用临时表,如果实在避免不了的话,要保证这些临时表是存在内存中的。
现象:如果复杂的SQL语句中包含了group by/distinct等不能通过索引进行优化而使用了临时表,则会导致SQL执行时间加长。
建议:如果应用中有很多group by/distinct等语句,同时数据库有足够的内存,可以增大tmp_table_size(max_heap_table_size)的值,以此来提升查询性能。


RDS MySQL 新增参数
下面介绍几个比较有用的 RDS MySQL 新增参数。


rds_max_tmp_disk_space
作用:用于控制MySQL能够使用的临时文件的大小,RDS初始默认值是10G,如果临时文件超出此大小,则会导致应用报错。
现象:The table ‘/home/mysql/dataxxx/tmp/#sql_2db3_1’ is full。
建议:需要先分析一下导致临时文件增加的SQL语句是否能够通过索引或者其他方式进行优化,其次如果确定实例的空间足够,则可以提升此参数的值,以保证SQL能够正常执行。注意此参数需要重启实例;


tokudb_buffer_pool_ratio
作用:用于控制TokuDB引擎能够使用的buffer内存大小,比如innodb_buffer_pool_size设置为1000M,tokudb_buffer_pool_ratio设置为50(代表50%),那么tokudb引擎的表能够使用的buffer 内存大小则为500M;
建议:该参数在RDS中默认设置为0,如果RDS中使用tokudb引擎,则建议调大该参数,以此来提升TokuDB引擎表的访问性能。该参数调整需要重启数据库实例。


max_statement_time
作用:用于控制查询在MySQL的最长执行时间,如果超过该参数设置时间,查询将会自动失败,默认是不限制。
建议:如果用户希望控制数据库中SQL的执行时间,则可以开启该参数,单位是毫秒。
现象:ERROR 3006 (HY000): Query execution was interrupted, max_statement_time exceeded


rds_threads_running_high_watermark
作用:用于控制MySQL并发的查询数目,比如将rds_threads_running_high_watermark该值设置为100,则允许MySQL同时进行的并发查询为100个,超过水位的查询将会被拒绝掉,该参数与rds_threads_running_ctl_mode配合使用(默认值为select)。
建议:该参数常常在秒杀或者大并发的场景下使用,对数据库具有较好的保护作用。

上述就是小编为大家分享的MySQL参数调优的最佳实践是怎么样的了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注编程网数据库频道。

您可能感兴趣的文档:

--结束END--

本文标题: MySQL参数调优的最佳实践是怎么样的

本文链接: https://www.lsjlt.com/news/62102.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL参数调优的最佳实践是怎么样的
    这期内容当中小编将会给大家带来有关MySQL参数调优的最佳实践是怎么样的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。 前言很多时候,RDS用...
    99+
    2022-10-18
  • 如何实现MySQL底层优化:参数配置和调整的最佳实践
    如何实现MySQL底层优化:参数配置和调整的最佳实践摘要:MySQL是最常用的开源关系型数据库管理系统之一,其性能和稳定性对于大多数企业至关重要。然而,要充分发挥MySQL的潜力,需要进行一些底层优化。本文将介绍一些常用的参数配置和调整的最...
    99+
    2023-11-08
    MySQL参数优化 底层调整 性能最佳实践
  • 使用MySQL索引的最佳实践是什么?
    数据库索引是一种提高表操作速度的数据结构。可以使用一列或多列创建索引,为快速随机查找和记录访问的高效排序提供基础。 使用 MySQL 索引的最佳实践是。 如果表对于 CSV 来说非常大,那么使用索引会将记录插入到末尾。 索引创建表的一系列...
    99+
    2023-10-22
  • 响应函数优化:PHP和NumPy的最佳实践是什么?
    响应函数是计算机科学中一个很重要的概念,它被广泛应用于数据处理和机器学习等领域。在实际应用中,响应函数的性能优化是一个非常重要的问题。本文将介绍如何在PHP和NumPy中实现响应函数优化的最佳实践,并提供一些演示代码。 PHP中的响应函数...
    99+
    2023-09-15
    numpy 响应 函数
  • MySQL数据库优化的方案与实践是怎样的
    这篇文章给大家介绍MySQL数据库优化的方案与实践是怎样的,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。最近一段时间,我们整理了一些关于Percona,Linux,Flashcache...
    99+
    2022-10-19
  • Go 索引 Spring 函数的最佳实践是什么?
    在现代应用程序中,函数是不可或缺的组成部分。随着应用程序变得越来越复杂,使用函数来管理代码和业务逻辑变得越来越重要。在这种情况下,索引函数是一项必不可少的任务,因为它可以大大提高应用程序的性能。 Spring 是一个流行的框架,它为 Ja...
    99+
    2023-10-11
    索引 spring 函数
  • CentOS系统针对mysql参数优化是怎么样的
    这期内容当中小编将会给大家带来有关CentOS系统针对mysql参数优化是怎么样的,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。内核相关参数(/etc/sysctl.conf)   以下参数可以...
    99+
    2023-06-06
  • 实时Unix数据加载:ASP的最佳实践是什么?
    ASP(Active Server Pages)是一种基于服务器端的Web应用程序开发技术,它可以使用多种编程语言,如VBScript和JavaScript。ASP应用程序通常需要与数据源进行交互,以获取、更新或删除数据。在Unix环境下...
    99+
    2023-08-07
    load 实时 unix
  • 数组打包:Python和Laravel的最佳实践是什么?
    数组打包是编程中常用的一种技术,它可以将多个数组合并成一个数组,方便数据的处理和管理。在Python和Laravel中,数组打包也是一项非常重要的技术。本文将介绍Python和Laravel中数组打包的最佳实践,并通过演示代码来帮助读者更...
    99+
    2023-06-03
    打包 数组 laravel
  • 存储大型NumPy数组的最佳实践是什么?
    NumPy是Python中最常用的科学计算库之一,它提供了高效的多维数组操作和数学函数。在数据分析、机器学习和科学计算中,NumPy数组通常是处理数据的核心数据结构。然而,在处理大型NumPy数组时,存储和读取数据成为了一个重要的问题。本...
    99+
    2023-10-02
    numy 存储 分布式
  • 如何实现MySQL底层优化:数据备份和恢复的最佳实践
    在数据库管理中,数据备份和恢复是极为重要的操作,因为它关乎着企业数据安全和业务持续性。MySQL作为一款十分流行的关系型数据库,自然也需要考虑如何实现数据备份和恢复的最佳实践,以提高数据的可靠性和可用性。本文将分享几种MySQL数据库底层优...
    99+
    2023-11-09
    MySQL 优化 数据备份
  • Python中的日志处理和调试技巧的最佳实践是什么?
    Python中的日志处理和调试技巧的最佳实践是什么?在Python开发过程中,日志处理和调试技巧是非常重要的部分。良好的日志实践可以帮助我们追踪和分析代码的执行情况,提高代码的可读性和可维护性。同时,优秀的调试技巧可以帮助我们快速定位和解决...
    99+
    2023-10-22
    调试技巧:断点调试 日志处理:loggers 最佳实践:异常处理
  • 处理Git中的大数据:PHP的最佳实践是什么?
    Git是目前最流行的版本控制系统之一,它在软件开发中起着非常重要的作用。然而,随着项目规模的不断扩大,Git中存储的数据量也会变得越来越庞大。在这种情况下,如何高效地处理Git中的大数据成为了一个重要的问题。本文将介绍一些PHP的最佳实践...
    99+
    2023-10-19
    响应 git 大数据
  • Spring框架中数组相关的最佳实践是什么?
    Spring框架作为Java企业级应用开发的事实标准,其强大的功能和良好的设计让它成为了众多企业和开发者的首选。在Spring框架中,数组是常见的数据结构之一,因此合理的使用和最佳实践对于提高代码的质量和可维护性至关重要。下面,我们将探讨...
    99+
    2023-10-17
    数组 laravel spring
  • PHP和Bash中使用数组的最佳实践是什么?
    PHP和Bash都是非常流行的编程语言,它们都提供了数组的功能。数组是一种非常重要的数据结构,它可以用来存储一组相关的数据,并通过索引来访问这些数据。在本文中,我们将探讨在PHP和Bash中使用数组的最佳实践。 PHP中使用数组的最佳实践...
    99+
    2023-06-14
    bash 数组 ide
  • 实时数据处理:Go语言中的最佳实践是什么?
    随着互联网和物联网的快速发展,数据处理变得越来越重要。在处理大量数据时,实时性是必须考虑的因素之一。而Go语言,作为一种高效、可靠、并发的编程语言,非常适合用于实时数据处理。 那么,在Go语言中,实时数据处理的最佳实践是什么呢?下面我们来...
    99+
    2023-09-12
    数组 api 实时
  • 存储ASP应用程序数据的最佳实践是什么?
    在ASP应用程序中,数据的存储是非常重要的,因为它决定了应用程序的性能和可靠性。ASP应用程序可以使用多种方法来存储数据,包括文件系统、数据库和内存缓存。在本文中,我们将讨论存储ASP应用程序数据的最佳实践。 一、使用文件系统进行数据存储...
    99+
    2023-08-04
    存储 异步编程 npm
  • 存储PHP函数:Unix环境下的最佳实践是什么?
    在Unix环境下,PHP的存储函数是不可避免的话题。如果你想在Unix环境下使用PHP,你需要了解一些存储函数的最佳实践。在本文中,我们将介绍几个最常用的Unix环境下的存储PHP函数,并探讨它们的最佳实践。 fopen() fope...
    99+
    2023-09-27
    函数 存储 unix
  • Java函数教程:Linux系统下的最佳实践是什么?
    在Linux系统下,Java函数的最佳实践包括几个方面:代码可读性、代码复用性、异常处理等。本文将详细介绍这些方面,并且通过演示代码来说明。 代码可读性 代码可读性是Java函数编写中非常重要的一个方面。为了让代码更易读,我们可以采用...
    99+
    2023-08-13
    教程 函数 linux
  • 如何实现MySQL底层优化:数据备份和恢复的高级最佳实践
    如何实现MySQL底层优化:数据备份和恢复的高级最佳实践摘要:MySQL是世界上最流行的关系型数据库管理系统之一,但在实际应用中,数据备份和恢复是非常重要的。本文将介绍MySQL底层优化中关于数据备份和恢复的高级最佳实践,并提供具体的代码示...
    99+
    2023-11-08
    MySQL 优化 数据备份
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作