iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >mysql批量insert数据的方法
  • 567
分享到

mysql批量insert数据的方法

2024-04-02 19:04:59 567人浏览 独家记忆
摘要

这篇文章主要介绍了Mysql批量insert数据的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。mysql批量insert数据的方法:1、循

这篇文章主要介绍了Mysql批量insert数据的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。

mysql批量insert数据的方法:1、循环插入;2、减少连接资源,拼接一条sql;3、使用存储过程;4、使用【MYSQL LOCAL_INFILE】。

mysql批量insert数据的方法:

方法一:循环插入

这个也是最普通的方式,如果数据量不是很大,可以使用,但是每次都要消耗连接数据库的资源。

大致思维如下

(我这里写伪代码,具体编写可以结合自己的业务逻辑或者框架语法编写)

for($i=1;$i<=100;$i++){
$sql = 'insert...............';
//querysql
}
foreach($arr as $key => $value){
$sql = 'insert...............';
//querysql
}
while($i <= 100){
$sql = 'insert...............';
//querysql
$i++
}

因为太过普通同时也没什么难度同时也不是我今天主要写的所以这里我不多说

方法二:减少连接资源,拼接一条sql

伪代码如下

//这里假设arr的key和数据库字段同步,其实大多数框架中在PHP操作数据库的时候都是这么设计的
$arr_keys        = array_keys($arr);
$sql             = 'INSERT INTO tablename (' . implode(',' ,$arr_keys) . ') values';
$arr_values      = array_values($arr);
$sql             .= " ('" . implode("','" ,$arr_values) . "'),";
$sql             = substr($sql ,0 ,-1);
//拼接之后大概就是  INSERT INTO tablename ('username','passWord') values 
('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx'),('xxx','xxx')
.......
//querysql

这样写正常插入一万条基本问题不大,除非数据很长,应付普通的批量插入够用了,比如:批量生成卡号,批量生成随机码等等。

方法三:使用存储过程

这个我手里正好再用这个就把sql付出来,具体业务逻辑大家自己组合一下就可以。

delimiter $$$
create procedure zQtest()
begin
declare i int default 0;
set i=0;
start transaction;
while i<80000 do
//your insert sql 
set i=i+1;
end while;
commit;
end
$$$
delimiter;
call zqtest();

这个也只是个测试代码,具体参数大家自行定义

我这里是一次插入8万条,虽然不多但是,每一条数据量都很大,有很多varchar4000 和text字段

耗时 6.524s

方法四:使用MYSQL LOCAL_INFILE

这个我目前正在使用,所以顺便把pdo的代码也复上来,以便大家参考

//设置pdo开启MYSQL_ATTR_LOCAL_INFILE
/*hs96.cn@gmail.com
public function pdo_local_info ()
{
     global $system_dbserver;
     $dbname  = 'hs96.cn@gmail.com';
     $ip      = 'hs96.cn@gmail.com';
     $user    = 'hs96.cn@gmail.com';
     $pwd     = 'hs96.cn@gmail.com';
     $dsn     = 'mysql:dbname=' . $dbname . ';host=' . $ip . ';port=3306';
     $options = [PDO::MYSQL_ATTR_LOCAL_INFILE => true];
     $db      = new PDO($dsn ,$user ,$pwd ,$options);
     return $db;
 }
//伪代码如下
public function test(){
     $arr_keys         = array_keys($arr);
$root_dir         = $_SERVER["DOCUMENT_ROOT"] . '/';
$my_file          = $root_dir . "hs96.cn@gmail.com/sql_cache/" . $order['OrderNo'] . '.sql';
$fhandler         = fopen($my_file,'a+');
if ($fhandler) {
    $sql = implode("\t" ,$arr);
      $i   = 1;
      while ($i <= 80000)
      {
          $i++;
          fwrite($fhandler ,$sql . "\r\n");
      }
      $sql = "LOAD DATA local INFILE '" . $myFile . "' INTO TABLE ";
      $sql .= "tablename (" . implode(',' ,$arr_keys) . ")";
      $pdo = $this->pdo_local_info ();
      $res = $pdo->exec($sql);
      if (!$res) {
           //TODO 插入失败
      }
      @unlink($my_file);
  }
}

感谢你能够认真阅读完这篇文章,希望小编分享mysql批量insert数据的方法内容对大家有帮助,同时也希望大家多多支持编程网,关注编程网数据库频道,遇到问题就找编程网,详细的解决方法等着你来学习!

您可能感兴趣的文档:

--结束END--

本文标题: mysql批量insert数据的方法

本文链接: https://www.lsjlt.com/news/53698.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • mysql批量insert数据的方法
    这篇文章主要介绍了mysql批量insert数据的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。mysql批量insert数据的方法:1、循...
    99+
    2024-04-02
  • db2怎么批量insert数据
    在DB2中可以使用INSERT INTO语句来批量插入数据。以下是一个示例: INSERT INTO table_name (col...
    99+
    2024-04-02
  • Mysql使用insert插入多条记录批量新增数据的方法
    这篇文章主要介绍了Mysql使用insert插入多条记录批量新增数据的方法,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。如果要向table1...
    99+
    2024-04-02
  • mysql批量录入数据的方法
    这篇文章主要介绍了mysql批量录入数据的方法,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。mysql批量录入数据的方法:1、使用循环插入;...
    99+
    2024-04-02
  • MySQL 拼接Insert批量同步异构表数据
    需求:线上部分表数据需要同步到测试环境,但是测试环境表结构又有变更,额外添加需求:原线上和测试都有的表字段同步,其他不同的字段不用同步,置为NULL即可。 ...
    99+
    2024-04-02
  • mysql中批量删除数据的方法
    mysql中批量删除数据的方法?这个问题可能是我们日常学习或工作经常见到的。希望通过这个问题能让你收获颇深。下面是小编给大家带来的参考内容,让我们一起来看看吧!mysql中批量删除数据的方法:首先找出符合条...
    99+
    2022-11-30
    mysql
  • Mysql大数据批量插入方法
    MySQL是当前最流行的关系型数据库之一,大数据批量插入是MySQL中常用的操作之一。在处理大量数据时,如果一条一条地插入会极大地影响效率,因此批量插入是一个更好的选择,可以大大提高数据的处理速度。下面介绍几种MySQL大数据批量插入的方法...
    99+
    2023-09-14
    mysql 大数据 数据库
  • oracle怎么批量insert多条数据
    在Oracle数据库中,可以使用INSERT ALL语句来批量插入多条数据。以下是一个示例: INSERT ALL INTO tab...
    99+
    2024-04-09
    oracle
  • mysql批量插数据的方法是什么
    在MySQL中,可以使用INSERT INTO语句来批量插入数据。以下是一种常用的方法: INSERT INTO table_nam...
    99+
    2024-04-09
    mysql
  • mysql批量插入insert语句
    在MySQL中批量插入数据有几种方法,下面我将介绍其中两种常用的方法: 方法一:使用INSERT INTO … VALUES语句的多值插入 这是一种简单的方式,可以一次性插入多个值。以下是一个示例: ...
    99+
    2023-10-21
    mysql 数据库
  • SqlServer中BULK INSERT用法简介,批量插入数据
    BULK INSERT是SqlServer中用于批量插入数据的命令。它可以将来自外部文件的数据快速加载到表中,比逐行插入数据的方式更...
    99+
    2023-09-16
    sqlserver
  • 使用python批量生成insert语句的方法
    1.建表语句 2.目标insert语句 INSERT INTO `bidprcu_dic_a`( `DIC_ID`, `DIC_TYPE_CODE`, `DIC_TYP...
    99+
    2024-04-02
  • mysql批量导入数据的方法是什么
    MySQL批量导入数据的方法有以下几种:1. 使用LOAD DATA INFILE语句:通过LOAD DATA INFILE语句可以...
    99+
    2023-09-27
    mysql
  • SQL Server Bulk Insert如何批量数据导入
    小编给大家分享一下SQL Server Bulk Insert如何批量数据导入,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧! ...
    99+
    2024-04-02
  • sql insert into批量操作的方法是什么
    在SQL中进行批量操作,可以使用批量插入语句(INSERT INTO),该语句可以将多个记录一次性插入到数据库表中。以下是几种常见的...
    99+
    2024-04-09
    sql
  • Java实现批量向mysql写入数据的方法
    本文实例讲述了Java实现批量向mysql写入数据的方法。分享给大家供大家参考,具体如下:private static String user = "root";private static String pass = "123456";p...
    99+
    2023-05-30
    java mysql ava
  • 使用BULK INSERT大批量导入数据 SQLSERVER
    要使用BULK INSERT在SQL Server中导入大批量数据,您需要按照以下步骤进行操作:1. 创建一个包含与目标表相同列的格...
    99+
    2023-08-17
    SQLSERVER
  • python向mySQL批量插入数据的方
    通过调用mySQLdb python库中的 cursor.executemany()函数完成批量处理。 今天用这个函数完成了批量插入 例程: def test_insertDB():     conn = database.Connect...
    99+
    2023-01-31
    批量 数据 python
  • navicat批量处理数据的方法
    小编给大家分享一下navicat批量处理数据的方法,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!一、使用excel表格1.打开数据表,按照表的字段在excel中添加数据。注意:表中字段名必须和...
    99+
    2024-04-02
  • navicat批量修改数据的方法
    这篇文章主要介绍了navicat批量修改数据的方法,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。navicat是一个非常好用的数据库管理软件,今...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作