广告
返回顶部
首页 > 资讯 > 数据库 >MySQL如何快速批量插入1000w条数据
  • 561
分享到

MySQL如何快速批量插入1000w条数据

2024-04-02 19:04:59 561人浏览 安东尼
摘要

听说有个面试题是: 如何快速向Mysql中插入1000w条数据? 我私下试了一下, 发现插入10000条数据用了0.9s, 插入10w条数据用了4.7s, 插入100w条数据

听说有个面试题是: 如何快速向Mysql中插入1000w条数据?

我私下试了一下, 发现插入10000条数据用了0.9s, 插入10w条数据用了4.7s, 插入100w条数据用了58s左右,1000w条数据,我的笔记本吭哧了5分钟,自己停了, 心中1000w只草泥马呼啸而过,我用的是下面的代码:


-- 进入数据库
use test;
-- 显示所有表
show tables;
-- 创建majors表
create table majors(id int, major varchar(255));
-- 定义结束符$
delimiter "$";
-- 创建存储过程,定义存储方法
create procedure batchInsert(in args int)
begin
declare i int default 1;
-- 开启事务(重要!不开的话,100w数据需要论天算)
start transaction;
while i <= args do
insert into majors(id,major) value(i,concat("软件工程-",i));
set i = i+ 1;
end while;
commit;
end
$

-- 调用函数,生成数据
-- 先生成10w条试试,同时输入$, 回车执行
call batchInsert(100000);
$

生成10w条数据,用了4.44秒

在这里插入图片描述

生成100w条数据用了58.62秒,差不多1分钟

在这里插入图片描述

生成1000w条数据, 屏幕前的大佬可以去试一下, 哈哈, 我 Ctrl+C把进程kill了!

在这里插入图片描述

总结

到此这篇关于mysql如何快速批量插入1000w条数据的文章就介绍到这了,更多相关Mysql批量插入数据内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: MySQL如何快速批量插入1000w条数据

本文链接: https://www.lsjlt.com/news/122055.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • MySQL如何快速批量插入1000w条数据
    听说有个面试题是: 如何快速向mysql中插入1000w条数据? 我私下试了一下, 发现插入10000条数据用了0.9s, 插入10w条数据用了4.7s, 插入100w条数据...
    99+
    2022-11-11
  • MySQL怎么快速批量插入1000w条数据
    这篇文章主要介绍MySQL怎么快速批量插入1000w条数据,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!小编发现插入10000条数据用了0.9s, 插入10w条数据用了4.7s, 插入100w条数据用了58s左右,1...
    99+
    2023-06-14
  • mysql快速插入大量数据
    前言 最近做性能测试,需要模拟生产环境的数据量,在造百万、千万级数据的时候发现直接使用插入sql效率极低,百度了一翻,找到几种方式,但用下来还是有很快速的方式,推荐第四种 插入mysql数据效率对比 ...
    99+
    2023-09-23
    mysql 数据库
  • MySql快速插入以及批量更新的方法
    这篇文章主要讲解了“MySql快速插入以及批量更新的方法”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“MySql快速插入以及批量更新的方法”吧!插入:  M...
    99+
    2022-10-18
  • MySql批量插入时如何不重复插入数据
    目录前言一、insert ignore into二、on duplicate key update三、replace into总结前言 Mysql插入不重复的数据,当大数据量的数据需...
    99+
    2022-11-12
  • C# MySQL 插入大批量数据
    一、定义DataTable的数据类型 private DataTable GetDataTableFromExternalSource(string tablename) { DataTable dat...
    99+
    2023-09-08
    mysql c# 数据库
  • python批量插入数据到mysql
    使用python批量插入数据到mysql的三种方法 自动化单条insert # -*- coding:utf-8 -*-import timefrom pymysql import *# 装饰器,计算插入50000条数据需要的时间def t...
    99+
    2023-09-06
    mysql 数据库 sql
  • 如何用mybatis快速插入大量数据?
    在公司业务开发过程中,经常会遇到需要往数据库表中插入大量数据的一个场景,如excel批量导入数据,如何快速的去插入数据呢,可以考虑使用批量插入(实测每秒能达到35000条,后附具体代码) JDBC实现方式: 用一个 for 循环,把数据一...
    99+
    2023-09-25
    mybatis java spring boot mysql
  • 快速向表插入大量数据
       当需要对一个非常大的表INSERT的时候,会消耗非常多的资源,因为update表的时候,oracle需要生成 redo log和undo log;此时最好的解决办法是用insert, 并且将表设置为nologgin...
    99+
    2017-03-06
    快速向表插入大量数据
  • MySQL中怎么批量插入数据
    本篇文章为大家展示了MySQL中怎么批量插入数据,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。1.创建测试表mysql> show create table ...
    99+
    2022-10-18
  • Mysql大数据批量插入方法
    MySQL是当前最流行的关系型数据库之一,大数据批量插入是MySQL中常用的操作之一。在处理大量数据时,如果一条一条地插入会极大地影响效率,因此批量插入是一个更好的选择,可以大大提高数据的处理速度。下面介绍几种MySQL大数据批量插入的方法...
    99+
    2023-09-14
    mysql 大数据 数据库
  • 大批量数据分批批量插入或更新(Mybatis+MySQL)
    大批量数据分批批量插入或更新 在MySQL数据库的前提下,插入或更新大批量数据。首先批量插入需要考虑到以下几个因素: 数据库一次可以承受多大或者多少条数据的插入批量插入是否会占用Mysql资源太久,影响系统整体使用性能代码中的集合是否会造成...
    99+
    2023-08-30
    mybatis mysql 数据库 java spring boot
  • oracle快速向表插入大量数据
       当需要对一个非常大的表INSERT的时候,会消耗非常多的资源,因为update表的时候,oracle需要生成 redo log和undo log;此时最好的解决办法是用insert, 并且将表设置为nologgin...
    99+
    2014-05-05
    oracle快速向表插入大量数据
  • 【mysql】向mysql数据库批量插入数据(循环)
    错误插入  delimiter $$ //以delimiter来标记用$表示存储过程结束 create procedure pre() //创建pre()存储方法 begin declare i int; //定义i变量 s...
    99+
    2021-08-13
    【mysql】向mysql数据库批量插入数据(循环)
  • MyBatis如何批量插入大量数据
    这篇文章将为大家详细讲解有关MyBatis如何批量插入大量数据,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。问题背景:只用MyBatis中foreach进行批量插入数据,一次性插入超过一千条的时候MyBa...
    99+
    2023-06-22
  • MyBatis批量插入几千条数据为何慎用foreach
    目录MyBatis批量插入几千条数据慎用foreach总结一下MyBatis批量插入几千条数据慎用foreach 近日,项目中有一个耗时较长的Job存在CPU占用过高的问题,经排查发...
    99+
    2022-11-13
    MyBatis批量插入数据 MyBatis慎用foreach MyBatis批量插入
  • python向mySQL批量插入数据的方
    通过调用mySQLdb python库中的 cursor.executemany()函数完成批量处理。 今天用这个函数完成了批量插入 例程: def test_insertDB():     conn = database.Connect...
    99+
    2023-01-31
    批量 数据 python
  • MySQL快速插入一亿测试数据
    目录1、建表1.1 建立测试表 t_user1.2 创建临时表2、生成数据2.1 用 python生成 【一亿】 记录的数据文件(这个确实稍微花点时间)2.2 将生成的文件导入到临时表tmp_table中3...
    99+
    2022-05-19
    MySQL 插入一亿数据 MySQL插入数据
  • mysql中怎么批量插入规律数据
    mysql中怎么批量插入规律数据,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。Sql代码  insert into CPPRADAR( S...
    99+
    2022-10-18
  • MyBatis批量插入/修改/删除MySql数据
    前言 由于项目需要生成多条数据,并保存到数据库当中,在程序中封装了一个List集合对象,然后需要把该集合中的实体插入到数据库中,项目使用了Spring+MyBatis,所以打算使用M...
    99+
    2022-11-12
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作