iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >mysql 优化慢复杂sql (多个left join 数量过大 order by 巨慢)
  • 864
分享到

mysql 优化慢复杂sql (多个left join 数量过大 order by 巨慢)

mysqlsql数据库 2023-09-13 08:09:07 864人浏览 安东尼
摘要

前沿 懒得看过程的话这里直接总结一下最后的解决方法: 如果不能直接减少主表的数据(小表驱动大表),就想办法把多个left join合成一个子查询,速度是否变快,没有的话再在子查询底下加一个havin&

前沿

懒得看过程的话这里直接总结一下最后的解决方法:
如果不能直接减少主表的数据(小表驱动大表),就想办法把多个left join合成一个子查询,速度是否变快,没有的话再在子查询底下加一个having条件(having什么不重要,结果不会错就行)

项目场景:

项目场景:因为一些迫不得已的原因(产品一定要)导致一个分页查询数据的sql非常复杂,查询效率巨巨巨慢(从来没查到过结果,最长等了2分钟)


问题描述

涉及项目,就不贴真实代码了,大概结构是

select p.id,p.name,ps2.sortfrom table1 pleft join table2 pson p.name = ps.nameand ps.region = 1left join table2 ps2on ps.name = ps2.nameand ps2.region = 1and ...where ...order by ps2.sort asc,p.sale desc,p.time desclimit 0,10

table1表有1w+的数据量,table2表有八百万数据,每个region大概有1w+数据。


原因分析:

left join数据量太大,笛卡尔积相当于1w✖️1w✖️1w,也就是做了1w✖️1w✖️1w的关联。最后的order by由于数据量过大,要反复回表查做排序,导致查询速度及其慢。
(不加order by时10秒能查出来,虽然也还是慢但是至少能查出来,但是order by 不能不要)


解决方案:

经过一系列百度,作出以下几种解决尝试。

方案一:按需给涉及的两个表加了索引,explain走了索引,但仍然因为order by 无法查出结果。(删除order by仍需要10s+)

方案二:根据对Mysql join的理解,按理说减少笛卡尔积应该能大幅度提升速度,于是猜想把sql的两次left join 变成一次,是不是就能解决问题?对sql进行分析,能把后两次left join抽成一个子查询,即如下结构

select p.id,p.name,pss.sortfrom table1 pleft join (select name,sortfrom table2 psleft join table2 ps2on ps.name = ps2.nameand ...where ...) psson p.name = pss.namewhere ...order by pss.sort asc,p.sale desc,p.time desclimit 0,10

但是仍然查询很慢也仍然无法查出结果,explain的结果与未作修改的explain结果没有差别,也就是说笛卡尔积仍然是1w✖️1w✖️1w,而我预想的结果应当是1w✖️1w。

方案三:百思不得其解时,我随手在方案二升级的子查询里加了一个having sort = 1,速度陡然变快,与方案二的sql仅一个having之差,速度却提升了数十倍,原本2min都查不出来的sql,现在3秒内能查出,explain结果也有所不同,多了一行table为 < dervied2>的结果,看样子是实现了1w✖️1w的效果。


猜想:

方案二的子查询应该是被mysql自动优化成直接的left join关联,所以explain结果才会没有差别,而在子查询中加了having之后mysql无法自动优化成直接的left join,就沿用了sql的调用顺序,所以explain才会多一个子查询的行,也就实现了我想要的效果,即从1w✖️1w✖️1w ->1w✖️1w,速度也就得到了很大的提升。
没有谷歌出来实锤,但是根据explain的结果应该是这样没错。

讲道理应该从更根本的表结构的源头上解决问题,或者考虑是不是应该用es,但是有些东西身不由己,代码和人总要有一个能跑,哎。

来源地址:https://blog.csdn.net/qq_40835969/article/details/128239398

您可能感兴趣的文档:

--结束END--

本文标题: mysql 优化慢复杂sql (多个left join 数量过大 order by 巨慢)

本文链接: https://www.lsjlt.com/news/405654.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作