广告
返回顶部
首页 > 资讯 > 数据库 >怎样对比mysqlpump和mysqldump的性能
  • 628
分享到

怎样对比mysqlpump和mysqldump的性能

2024-04-02 19:04:59 628人浏览 泡泡鱼
摘要

本篇文章给大家分享的是有关怎样对比Mysqlpump和mysqldump的性能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

本篇文章给大家分享的是有关怎样对比Mysqlpump和mysqldump的性能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

昨天测试了一下mysqlpump,今天来把剩下的补充完成,算是一个小的系列。

mysqlpump

在MySQL 5.7中做逻辑备份恢复有了一个新的工具mysqlpump,如果你掌握了mysqldump,那么使用mysqlpump就是分分钟的事情,因为很多参数都是很相似的,可以理解它是mysqldump的加强版,一个亮点就是有了并行的选项,使得数据备份的性能更加强大。

  有一点值得说明的是,为了保证数据一致性,我们一般备份都会使用--single-transaction的选项,在5.7.11以前,mysqlpump和并行参数是有冲突的,在这个版本之后做了修复。

  但是mysqlpump到底怎么样呢,我在5.7.17的版本中做了一些简单的测试,可以看出一些性能的差异。

  而mysqldump是大家最耳熟能详的工具了,如果没用过,都不好意思说自己会MySQL,这样一个工具和oracle里的exp工具一般,经典而且功能丰富。  

测试环境说明

   为了尽可能保证导出的数据备份能够占用少的磁盘空间,我们经常会使用gzip来压缩,我们就分了几个场景来对比压缩,不压缩,开启并行后的数据备份的性能差异。

   我选取的数据集大小在30G左右。含有5个数据库,单表数据量在200万以上,单库的表数量在10个以上。

数据备份的测试结果

数据备份的测试场景自己做得多一些,当然备份层面的压缩暂时还没有测完整,其它的场景


optionrealidle%dump_size(byte)
mysqlpump compress=false 6m52.232s 85.92 26199028017

compress=false|gzip 43m12.574s 90.72 12571701197

compress=true 19m24.541s 80.48 26199028017

compress=true |gzip 43m12.515s 84.94 12571200219

parallelism=4  5m30.005s 76.43 26199028017

parallelism=4 |gzip 42m41.433s 90.51 12575331504

parallelism=8 4m44.177s 66.73 26199028017

parallelism=8 |gzip 42m50.417s 90.38 12574079375

parallelism=16 5m19.060s 90.38 26199028017

parallelism=16 |gzip 42m50.939s 89.65 12577618359

parallelism=32  5m10.220s 89.23 26199028017

parallelism=32 |gzip 45m47.022s 89.7 12577618359
mysqldump compress=false 9m19.785s 87.33 26176062499

compress=false |gzip 43m23.036s 90.97 12524413896

compress=true 37m42.052s 90.1 26176062499

compress=true |gzip 43m17.755s 85.89 12524413896

compress=true  38m55.968s 90.22 26176062499

compress=true |gzip 43m1.672s 85.77 12524413896

可以看到默认来说,导出一个30G左右的dump需要近7分钟,而启用了并行之后,并行度为4的时候,导出时间是5分半,提升了1.5分钟(20%),并行度为8之后提升了2分钟左右(30%)。而在系统层面做了压缩的时候,压缩率达到了近48%,而并行度在更大的时候,备份速度就差别不大了,一来也和CPU的情况有关,整体来说并行的效果还是不错的。在compress=true只是在服务端客户端交互中使用数据包压缩,最后的备份集大小是没有任何改变的。后续会测试使用不同的压缩算法,备份的性能差异。

系统层面压缩备份的情况

如果备份不通过gzip管道来压缩,而是直接生成备份压缩,效率如果呢。一个26G左右的备份,gzip压缩的时间大概是43m18.974s,其实还真不短,比预想的长多了。

数据导入效率

数据的导入,我就简单测试了两个场景,mysqlpump并行备份导出,导入,mysqldump备份导出导入

mysqlpump export  parallelism=4 7m

import 85m4.574s
mysqldump export  9m8.420s

import 97m9.760s

以上就是怎样对比mysqlpump和mysqldump的性能,小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注编程网数据库频道。

您可能感兴趣的文档:

--结束END--

本文标题: 怎样对比mysqlpump和mysqldump的性能

本文链接: https://www.lsjlt.com/news/66154.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 怎样对比mysqlpump和mysqldump的性能
    本篇文章给大家分享的是有关怎样对比mysqlpump和mysqldump的性能,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。 ...
    99+
    2022-10-19
  • Hadoop和spark的性能对比
    本篇内容主要讲解“Hadoop和spark的性能对比”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop和spark的性能对比”吧!Hadoop和spark的性能有何区别。  如果说Had...
    99+
    2023-06-02
  • Kubernetes几种存储方式性能对比是怎样的
    Kubernetes几种存储方式性能对比是怎样的,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。摘要展示了一个简单的存储对比,使用未经性能优化的多种存储提供的存储卷进行测试和比较...
    99+
    2023-06-04
  • java中Memcached和Redis的性能对比
    这篇文章将为大家详细讲解有关java中Memcached和Redis的性能对比,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。Java的特点有哪些Java的特点有哪些1.Java语言作为静态面...
    99+
    2023-06-14
  • Tomcat 7优化前及优化后的性能对比是怎样的
    本篇文章为大家展示了Tomcat 7优化前及优化后的性能对比是怎样的,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。一、运行环境CPU: Intel(R) Penti...
    99+
    2022-10-19
  • NumPy和JavaScript在Java中的性能对比?
    在编程领域,性能一直是一个非常重要的话题。对于数据密集型的应用程序而言,选择适当的工具和技术可以大大提高程序的性能。在这篇文章中,我们将重点比较NumPy和JavaScript在Java中的性能,并为您提供一些示例代码来帮助您更好地理解这...
    99+
    2023-10-18
    load javascript numpy
  • TypeScript和JavaScript深度对比是怎么样的
    TypeScript和JavaScript深度对比是怎么样的,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。TypeScript 和 JavaS...
    99+
    2022-10-19
  • 关于dubbo的RPC和RESTful性能及对比
    目录先上结论原因分析HTTP请求代码RPC代码总结先上结论 RPC请求的效率是HTTP请求的1.6倍左右,性能明显比HTTP请求要高很多。 原因分析 RESTful是基于HTTP协议...
    99+
    2022-12-19
    dubbo的RPC dubbo的RESTful RPC和RESTful性能对比
  • Mybatis与Jpa的区别和性能对比总结
    前言 这几天听朋友说JPA很好用,根本不用写sql。我在想一个程序员不写sql还能叫程序员?而且越高级的工具封装越多的工具,可拓展性和效率就非常的低,况且我本身非常不喜欢过于封装的...
    99+
    2022-11-12
  • Windows下PHP和NumPy的性能对比:谁更快速?
    在当今大数据时代,越来越多的开发者开始尝试使用不同的编程语言和工具来处理数据。PHP和NumPy都是两个非常流行的工具,它们都可以用来进行数据分析和处理。但是,它们的性能如何?在Windows下,哪一个更快速?本文将对这个问题进行探讨。 ...
    99+
    2023-07-23
    windows 大数据 numy
  • Python中字典和列表性能的对比分析
    本篇文章为大家展示了Python中字典和列表性能的对比分析,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Python列表和字典前面我们了解了 “大O表示法” 以及对不同的算法的评估,下面来讨论下 P...
    99+
    2023-06-15
  • 怎样才能挑选到高性价比的服务器
    挑选到高性价比服务器的重要因素:1. 勿贪小便宜,选择性价比高的服务器,保证服务器的安全。2. 支持按需配备,是否可以根据需求服务器的升级与配置。3. 确认购买前了解清楚服务器的具体情况,对服务器进行测试或试用。具体内容如下: 性价比高很多...
    99+
    2022-10-12
  • 详解PHP7开启OPcache和Swoole性能的提升对比
    目录前期准备不开启opcache和laravel开启OPcache使用swoole加速包总结前期准备 测试所用的主机为虚拟机,虚拟机配置在双核4GB的个人电脑中。虚拟机系统为linu...
    99+
    2022-11-12
  • Java for循环和foreach循环的性能对比分析
    目录for循环和foreach循环的性能对比普通for循环语法foreach 循环语法for与foreach循环效率比较对于数组来说对于链表来说小结一下吧for循环和foreach循...
    99+
    2022-11-12
  • 大数据流处理中Flume、Kafka和NiFi的对比是怎样的
    今天就跟大家聊聊有关大数据流处理中Flume、Kafka和NiFi的对比是怎样的,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。我们将简要介绍三种Apache处理工具:Flume、Ka...
    99+
    2023-06-02
  • 对MySQL性能优化的简单办法是怎样的
    对MySQL性能优化的简单办法是怎样的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。 对拥有一个几十万行表的...
    99+
    2022-10-19
  • 四个Java常见分布式锁的选型和性能对比
    目录1. 基于数据库的分布式锁2. 基于缓存的分布式锁3. 基于ZooKeeper的分布式锁4. 基于Redis的分布式锁1. 基于数据库的分布式锁 实现原理: 基于数据库的分布式锁...
    99+
    2023-05-19
    Java实现分布式锁 Java分布式锁对比 Java分布式锁
  • ASP 框架和 Django 中数据类型的性能对比如何?
    在 Web 开发中,数据类型是极为重要的一环。不同的数据类型在存储、处理、传输上都有着不同的表现和性能。在 ASP 框架和 Django 中,数据类型的选择会直接影响到程序的性能表现。本文将会对 ASP 框架和 Django 中常见的数据...
    99+
    2023-06-20
    框架 数据类型 django
  • MySQL查询语句中的IN和Exists怎样进行对比分析
    这篇文章给大家介绍MySQL查询语句中的IN和Exists怎样进行对比分析,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。背景介绍最近在写SQL语句时,对选择IN 还是Exists 犹豫...
    99+
    2022-10-18
  • .Net 6简介并和之前版本写法的对比是怎样的
    .Net 6简介并和之前版本写法的对比是怎样的,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。介绍vs2022正式版已经推出了,估计很多人已经下载并开始创建.Net...
    99+
    2023-06-22
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作