广告
返回顶部
首页 > 资讯 > 数据库 >InnoDB的插入缓冲方法
  • 754
分享到

InnoDB的插入缓冲方法

2024-04-02 19:04:59 754人浏览 八月长安
摘要

小编给大家分享一下InnoDB的插入缓冲方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!InnoDB引擎有几个重点特性,为其带来了更好的性能和可靠性:插入缓冲(Insert Buffer)两

小编给大家分享一下InnoDB的插入缓冲方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!

InnoDB引擎有几个重点特性,为其带来了更好的性能和可靠性:

  • 插入缓冲(Insert Buffer)
  • 两次写(Double Write)
  • 自适应哈希索引(Adaptive Hash Index)
  • 异步io(Async IO)
  • 刷新邻接页(Flush Neighbor Page)

今天我们的主题就是 插入缓冲(Insert Buffer),由于InnoDB引擎底层数据存储结构式B+树,而对于索引我们又有聚集索引和非聚集索引。

在进行数据插入时必然会引起索引的变化,聚集索引不必说,一般都是递增有序的。而非聚集索引就不一定是什么数据了,其离散性导致了在插入时结构的不断变化,从而导致插入性能降低。

所以为了解决非聚集索引插入性能的问题,InnoDB引擎 创造了Insert Buffer。

Insert Buffer 的存储

InnoDB的插入缓冲方法

看到上图,可能大家会认为Insert Buffer 就是InnoDB 缓冲池的一个组成部分。

**重点:**其实对也不对,InnoDB 缓冲池确实包含了Insert Buffer的信息,但Insert Buffer 其实和数据页一样,也是物理存在的(以B+树的形式存在共享表空间中)。

Insert Buffer 的作用

先说几个点:

  • 一张表只能有一个主键索引,那是因为其物理存储是一个B+树。(别忘了聚集索引叶子节点存储的数据,而数据只有一份)

  • 非聚集索引叶子节点存的是聚集索引的主键

InnoDB的插入缓冲方法

聚集索引的插入

首先我们知道在InnoDB存储引擎中,主键是行唯一的标识符(也就是我们常叨叨的聚集索引)。我们平时插入数据一般都是按照主键递增插入,因此聚集索引都是顺序的,不需要磁盘的随机读取。

比如表:

CREATE TABLE test(
	id INT AUTO_INCREMENT,
	name VARCHAR(30),
	PRIMARY KEY(id)
);复制代码

如上我创建了一个主键 id,它有以下的特性:

  • Id列是自增长的
  • Id列插入NULL值时,由于AUTO_INCREMENT的原因,其值会递增
  • 同时数据页中的行记录按id的值进行顺序存放

一般情况下由于聚集索引的有序性,不需要随机读取页中的数据,因为此类的顺序插入速度是非常快的。

但如果你把列 Id 插入UUID这种数据,那你插入就是和非聚集索引一样都是随机的了。会导致你的B+ tree结构不停地变化,那性能必然会受到影响。

非聚集索引的插入

很多时候我们的表还会有很多非聚集索引,比如我按照b字段查询,且b字段不是唯一的。如下表:

CREATE TABLE test(
	id INT AUTO_INCREMENT,
	name VARCHAR(30),
	PRIMARY KEY(id),
	KEY(name)
);复制代码

这里我创建了一个x表,它有以下特点:

  • 有一个聚集索引 id
  • 有一个不唯一的非聚集索引 name
  • 在插入数据时数据页是按照主键id进行顺序存放
  • 辅助索引 name的数据插入不是顺序的

非聚集索引也是一颗B+树,只是叶子节点存的是聚集索引的主键和name 的值。

因为不能保证name列的数据是顺序的,所以非聚集索引这棵树的插入必然也不是顺序的了。

当然如果name列插入的是时间类型数据,那其非聚集索引的插入也是顺序的。

Insert Buffer 的到来

可以看出非聚集索引插入的离散性导致了插入性能的下降,因此InnoDB引擎设计了 Insert Buffer来提高插入性能 。

我来看看使用Insert Buffer 是怎么插入的:

InnoDB的插入缓冲方法

首先对于非聚集索引的插入或更新操作,不是每一次直接插入到索引页中,而是先判断插入的非聚集索引页是否在缓冲池中。

若在,则直接插入;若不在,则先放入到一个Insert Buffer对象中。

给外部的感觉好像是树已经插入非聚集的索引的叶子节点,而其实是存放在其他位置了

以一定的频率和情况进行Insert Buffer和辅助索引页子节点的merge(合并)操作,通常会将多个插入操作一起进行merge,这就大大的提升了非聚集索引的插入性能。

Insert Buffer的使用要求
  • 索引是非聚集索引
  • 索引不是唯一(unique)的

只有满足上面两个必要条件时,InnoDB存储引擎才会使用Insert Buffer来提高插入性能。

那为什么必须满足上面两个条件呢?

第一点索引是非聚集索引就不用说了,人家聚集索引本来就是顺序的也不需要你

第二点必须不是唯一(unique)的,因为在写入Insert Buffer时,数据库并不会去判断插入记录的唯一性。如果再去查找肯定又是离散读取的情况了,这样InsertBuffer就失去了意义。

Insert Buffer信息查看

我们可以使用命令SHOW ENGINE INNODB STATUS来查看Insert Buffer的信息:

-------------------------------------
INSERT BUFFER AND ADAPTIVE HASH INDEX
-------------------------------------
Ibuf: size 7545, free list len 3790, seg size 11336, 
8075308 inserts,7540969 merged sec, 2246304 merges
...复制代码

使用命令后,我们会看到很多信息,这里我们只看下INSERT BUFFER 的:

  • seg size 代表当前Insert Buffer的大小  11336*16KB

  • free listlen 代表了空闲列表的长度

  • size 代表了已经合并记录页的数量

  • Inserts 代表了插入的记录数

  • merged recs 代表了合并的插入记录数量

  • merges 代表合并的次数,也就是实际读取页的次数

merges:merged recs大约为1∶3,代表了Insert Buffer 将对于非聚集索引页的离散IO逻辑请求大约降低了2/3

Insert Buffer的问题

说了这么多针对于Insert Buffer的好处,但目前Insert Buffer也存在一个问题:

即在写密集的情况下,插入缓冲会占用过多的缓冲池内存(innodb_buffer_pool),默认最大可以占用到1/2的缓冲池内存。

占用了过大的缓冲池必然会对其他缓冲池操作带来影响

Insert Buffer的优化

Mysql5.5之前的版本中其实都叫做Insert Buffer,之后优化Change Buffer 可以看做是 Insert Buffer 的升级版。

插入缓冲( Insert Buffer)这个其实只针对 INSERT 操作做了缓冲,而Change Buffer 对INSERT、DELETE、UPDATE都进行了缓冲,所以可以统称为写缓冲,其可以分为:

  • Insert Buffer

  • Delete Buffer

  • Purgebuffer

总结

Insert Buffer到底是个什么?

  • 其实Insert Buffer的数据结构就是一棵B+树。

  • mysql 4.1之前的版本中每张表有一棵Insert Buffer B+树

  • 目前版本是全局只有一棵Insert Buffer B+树,负责对所有的表的辅助索引进行Insert Buffer

  • 这棵B+树存放在共享表空间ibdata1中

以下几种情况下 Insert Buffer会写入真正非聚集索引,也就是所说的Merge Insert Buffer

  • 当辅助索引页被读取到缓冲池中时
  • Insert Buffer Bitmap页追踪到该辅助索引页已无可用空间时
  • Master Thread线程中每秒或每10秒会进行一次Merge Insert Buffer的操作

一句话概括下:

Insert Buffer 就是用于提升非聚集索引页的插入性能的,其数据结构类似于数据页的一个B+树,物理存储在共享表空间ibdata1中 。

看完了这篇文章,相信你对InnoDB的插入缓冲方法有了一定的了解,想了解更多相关知识,欢迎关注编程网数据库频道,感谢各位的阅读!

您可能感兴趣的文档:

--结束END--

本文标题: InnoDB的插入缓冲方法

本文链接: https://www.lsjlt.com/news/53163.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • InnoDB的插入缓冲方法
    小编给大家分享一下InnoDB的插入缓冲方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!InnoDB引擎有几个重点特性,为其带来了更好的性能和可靠性:插入缓冲(Insert Buffer)两...
    99+
    2022-10-18
  • #MySQL# INNODB存储引擎之插入缓冲
    一 前言     在 mysql的insert操作中,涉及到的需要insert 的 page有聚簇索引page,唯一索引page,以及非唯一索引page 。正常情况下, 对于 ...
    99+
    2022-10-18
  • MySQL Innodb关键特性之插入缓冲(insert buffer)
    什么是insert buffer?    插入缓冲,也称之为insert buffer,它是innodb存储引擎的关键特性之一,我们经常会理解插入缓冲时缓冲池的一个部分,这样的理解是片面的,ins...
    99+
    2022-05-27
    MySQL Innodb Innodb 插入缓冲 Innodb insert buffer
  • angularJS 如何读写缓冲的方法(推荐)
    写在前面 1.在客户端、服务端架构中,HTTP协议是主流通信技术; 2.HTTP协议的无状态特性,节省带宽,较少服务器的负载,缓冲技术具有重要的运用;这里主要讲解在客户端浏览器中angular如何读写缓存....
    99+
    2022-06-04
    方法 angularJS
  • C++缓冲区刷新的方法是什么
    在C++中,可以使用以下方法刷新缓冲区: 使用std::endl:在输出流中使用std::endl会自动刷新缓冲区,并插入一个换行...
    99+
    2023-10-23
    C++
  • html中插入flash的方法
    这篇文章将为大家详细讲解有关html中插入flash的方法,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。html是什么html的全称为超文本标记语言,它是一种标记语言,包含了一系列标签.通过这些标签可以将...
    99+
    2023-06-15
  • Java中的Netty缓冲区的用法
    这篇文章主要介绍“Java中的Netty缓冲区的用法”,在日常操作中,相信很多人在Java中的Netty缓冲区的用法问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Java中的Netty缓冲区的用法”的疑惑有所...
    99+
    2023-06-16
  • Java实现带缓冲的输入输出流
    缓冲是 I/O 的一种性能优化。缓冲流为 I/O 流增加了内存缓冲区。 BufferedInputStream类 与 BufferedOutputStream类 BufferedIn...
    99+
    2022-11-13
  • mysql中插入图片的方法
    小编给大家分享一下mysql中插入图片的方法,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!mysql中插入图片的方法:首先要在数...
    99+
    2022-10-18
  • 免插件在wordpress中插入表格的方法
    WordPress 很强大,但是其编辑器却很简陋,可能 WordPress 依仗着自己有丰富的插件功能所以将后台的编辑器简化了吧。当然,一些简单的文字与图片输入对于 WordPress 编辑器来说是完全能够胜任的,但是如...
    99+
    2022-06-12
    wordpress 插入表格
  • win10系统输入法热键冲突的解决方法
    这篇文章将为大家详细讲解有关win10系统输入法热键冲突的解决方法,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。在我们使用电脑的过程中,很多人都遇到热键冲突的情况,那么出现热键冲突应该怎么解...
    99+
    2023-06-27
  • Node.js缓冲区(Buffer)模块的方法及实例分析
    二进制流是大量的二进制数据的集合。由于通常情况下二进制流的大小挺大的,因此二进制流一般不会一起运送,而会在运输前切分成小块然后逐一发送。 当数据处理单元暂时不再接收其他数据流时,剩余...
    99+
    2022-11-12
  • 详解uniapp的缓冲实现方案
    【序】在移动App开发中,常常需要对数据进行缓存处理,以提升用户体验和节省网络流量消耗,而在uniapp开发中也可以通过一些方案来实现数据的缓存处理。本文将介绍uniapp的缓冲实现方案,从而帮助开发者优化应用的运行性能。【正文】一、uni...
    99+
    2023-05-14
  • mysql插入多条数据的方法
    这篇文章主要介绍mysql插入多条数据的方法,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!mysql插入多条数据的方法:1、使用“INSERT INTO 表名 字段列表 VALUES...
    99+
    2022-10-18
  • 在MySQL中插入日期的方法
    在MySQL中插入日期的方法?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!MySQL提供了几种数据类型,用于在其数据库系统...
    99+
    2022-10-18
  • Qt中的双缓冲机制与应用方法是什么
    本篇内容介绍了“Qt中的双缓冲机制与应用方法是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1、双缓冲机制所谓双缓冲机制,是指在绘制控件...
    99+
    2023-07-05
  • ppt无法插入视频的解决方法
    小编给大家分享一下ppt无法插入视频的解决方法,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!ppt无法插入视频是因为ppt默认支持Windows medie player播放器插件,因此默认支持的视频格式是WMV格式的,而...
    99+
    2023-06-14
  • 缓冲字符流BufferedReader和BufferedWriter的用法
    本篇内容主要讲解“缓冲字符流BufferedReader和BufferedWriter的用法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“缓冲字符流BufferedReader和Buffered...
    99+
    2023-06-20
  • Java怎么实现带缓冲的输入输出流
    本篇内容主要讲解“Java怎么实现带缓冲的输入输出流”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Java怎么实现带缓冲的输入输出流”吧!缓冲是 I/O 的一种性能优化。缓冲流为 I/O 流增加...
    99+
    2023-06-29
  • InnoDB行锁的实现方法
    本篇内容主要讲解“InnoDB行锁的实现方法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“InnoDB行锁的实现方法”吧! session_1 ...
    99+
    2022-10-18
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作