广告
返回顶部
首页 > 资讯 > 数据库 >如何解决MySQL批量插入和唯一索引问题
  • 571
分享到

如何解决MySQL批量插入和唯一索引问题

2024-04-02 19:04:59 571人浏览 安东尼
摘要

这篇文章主要介绍了如何解决Mysql批量插入和唯一索引问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。MySQL批量插入问题在开发项目时,

这篇文章主要介绍了如何解决Mysql批量插入和唯一索引问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。

MySQL批量插入问题

开发项目时,因为有一些旧系统的基础数据需要提前导入,所以我在导入时做了批量导入操作 ,但是因为mysql中的一次可接受的sql语句大小受限制所以我每次批量虽然只有500条,但依然无法插入,这个时候代码报错如下:

nested exception is com.mysql.jdbc.PacketTooBigException: Packet for query is too large (5677854 > 1048576).

You can change this value on the server by setting the max_allowed_packet' variable.

根据报错我们很快就可以知道,是SQL语句数据包太大导致,我们可以设置MySQL服务器参数max_allowed_packet来解决这个问题。

解决办法

1.添加【mysqld】下max_allowed_packet参数,设置的尽量大一些。

#找到my.cnf文件
#whereis my.cnf
#vim my.cnf
----------------------------
[mysqld]
max_connections =3000
max_allowed_packet=1024M

#保存后重启mysql服务,即可生效
#service mysqld restart

2.临时设置max_allowed_packet,通过语句设置

myslq>set global max_allowed_packet = 1024*1024*1024

该种方式重启后就max_allowed_packet失效了

默认情况下Mysql参数max_allowed_packet值是1M.

MySQL索引不区分大小写问题

当在MySQL数据库中,创建索引默认是不区分大小写的,比如说如下语句:

CREATE TABLE `location` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `rc` varchar(2) DEFAULT NULL COMMENT 'R/C',
 `location_code` varchar(4) DEFAULT NULL COMMENT '地点编码',
 `location_name` varchar(30) DEFAULT NULL COMMENT '地点名称',
 `zip_code` varchar(6) DEFAULT NULL COMMENT '邮编',
 `address` varchar(50) DEFAULT NULL COMMENT '地址',
 `link_man` varchar(15) DEFAULT NULL COMMENT '联系人',
 `link_phone` varchar(30) DEFAULT NULL COMMENT '联系电话',
 `fax` varchar(30) DEFAULT NULL COMMENT '传真',
 `can_accept_car_time` varchar(40) DEFAULT NULL COMMENT '可接车时间',
 `type` varchar(1) DEFAULT NULL COMMENT '分类',
 `maintenance_type` varchar(1) DEFAULT NULL COMMENT '维护类型',
 `brand` varchar(4) DEFAULT NULL COMMENT '品牌',
 `reservation` varchar(40) DEFAULT NULL COMMENT '预留',
 `enable` int(1) DEFAULT '1',
 `msg_code` varchar(64) NOT NULL COMMENT '消息编码',
 `receive_on` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '接收日期',
 `create_on` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建日期',
 `modified_on` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改日期',
 PRIMARY KEY (`id`),
 UNIQUE KEY `unique_msg_code` (`msg_code`) USING BTREE,
 UNIQUE KEY `unique_location_code` (`location_code`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=16325 DEFAULT CHARSET=utf8 COMMENT='地址表';

但当我插入地址编码分别为H12C与h22C时,就报错了,抛出异常:Duplicate entry 'H12C' for key 'nORMal_localtion_code',这里则说明不区分大小写,所以这个地方需要解决这个问题。

解决方法

1.设置字段为Binary,那么索引就可以区分大小写了。

CREATE TABLE `location` (
 `id` int(11) NOT NULL AUTO_INCREMENT,
 `rc` char(2) DEFAULT NULL COMMENT 'R/C',
 `location_code` varchar(4) CHARACTER SET utf8 COLLATE utf8_bin DEFAULT NULL COMMENT '地点编码',
 `location_name` varchar(26) DEFAULT NULL COMMENT '地点名称',
 `zip_code` varchar(6) DEFAULT NULL COMMENT '邮编',
 `address` varchar(50) DEFAULT NULL COMMENT '地址',
 `link_man` varchar(16) DEFAULT NULL COMMENT '联系人',
 `link_phone` varchar(30) DEFAULT NULL COMMENT '联系电话',
 `fax` varchar(30) DEFAULT NULL COMMENT '传真',
 `can_accept_car_time` varchar(40) DEFAULT NULL COMMENT '可接车时间',
 `type` varchar(1) DEFAULT NULL COMMENT '分类',
 `maintenance_type` varchar(1) DEFAULT NULL COMMENT '维护类型',
 `brand` varchar(4) DEFAULT NULL COMMENT '品牌',
 `reservation` varchar(40) DEFAULT NULL COMMENT '预留',
 `enable` int(1) DEFAULT '1',
 `msg_code` varchar(64) NOT NULL COMMENT '消息编码',
 `receive_on` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '接收日期',
 `create_on` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建日期',
 `modified_on` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改日期',
 PRIMARY KEY (`id`),
 UNIQUE KEY `unique_msg_code` (`msg_code`) USING BTREE,
 UNIQUE KEY `unique_location_code` (`location_code`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=4092 DEFAULT CHARSET=utf8 COMMENT='地点表';

// 修改原表字典属性:

ALTER TABLE `location`
CHANGE COLUMN `location_code` `location_code` VARCHAR(4) CHARACTER SET 'utf8' BINARY NOT NULL DEFAULT '' ;

上面方法就解决了。

查询时不区分大小写问题

如何解决MySQL批量插入和唯一索引问题

解决方法

如何解决MySQL批量插入和唯一索引问题

1.查询语句加binary

2.与索引解决方案一致,设置字段属性为binary即可。

感谢你能够认真阅读完这篇文章,希望小编分享的“如何解决MySQL批量插入和唯一索引问题”这篇文章对大家有帮助,同时也希望大家多多支持编程网,关注编程网数据库频道,更多相关知识等着你来学习!

您可能感兴趣的文档:

--结束END--

本文标题: 如何解决MySQL批量插入和唯一索引问题

本文链接: https://www.lsjlt.com/news/56164.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 如何解决MySQL批量插入和唯一索引问题
    这篇文章主要介绍了如何解决MySQL批量插入和唯一索引问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。MySQL批量插入问题在开发项目时,...
    99+
    2022-10-18
  • MySql批量插入与唯一索引问题
    MySQL批量插入问题 在开发项目时,因为有一些旧系统的基础数据需要提前导入,所以我在导入时做了批量导入操作 ,但是因为MySQL中的一次可接受的SQL语句大小受限制所以我每次批量虽然只有500条,但依然无...
    99+
    2022-10-18
  • MySQL——插入加锁/唯一索引插入死锁/批量插入效率
    本篇主要介绍MySQL跟加锁相关的一些概念、MySQL执行插入Insert时的加锁过程、唯一索引下批量插入可能导致的死锁情况,以及分别从业务角度和MySQL配置角度介绍提升批量插入的效率的方法; MySQL跟加锁相关的一些概念 在介...
    99+
    2023-08-31
    mysql 加锁 批量插入 唯一索引 S锁/X锁 Powered by 金山文档
  • MySQL死锁套路之唯一索引下批量插入顺序不一致
    前言 死锁的本质是资源竞争,批量插入如果顺序不一致很容易导致死锁,我们来分析一下这个情况。为了方便演示,把批量插入改写为了多条 insert。 先来做几个小实验,简化的表结构如下 CREATE TA...
    99+
    2022-10-18
  • mybatis和mybatisplus批量插入问题怎么解决
    这篇文章主要介绍了mybatis和mybatisplus批量插入问题怎么解决的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇mybatis和mybatisplus批量插入问题怎么解决文章都会有所收获,下面我们一起...
    99+
    2023-07-06
  • Mysql添加联合唯一索引及相同数据插入报错问题
    目录添加联合唯一索引及相同数据插入报错1.添加联合索引2.此时如果在插入相同的数据会报错加了唯一索引,但数据还是有重复的,原来如此添加联合唯一索引及相同数据插入报错 1.添加联合索引 alter table "表名" a...
    99+
    2022-09-27
  • Mysql批量插入数据时该如何解决重复问题详解
    目录前言一、三种方法二、细节2.1、insert ignore into2.2 、insert into ... on duplicate key update2.3、replace into三、总结前言 当数据库中存量...
    99+
    2022-11-10
  • Spring Boot如何解决Redis缓存+MySQL批量入库问题
    这篇文章给大家分享的是有关Spring Boot如何解决Redis缓存+MySQL批量入库问题的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。架构设计架构图:时序图记录基础数据MySQL表结构CREATE...
    99+
    2023-06-29
  • Excel数据导入Mysql常见问题汇总:如何解决导入数据时遇到的大批量插入问题?
    Excel数据导入Mysql常见问题汇总:如何解决导入数据时遇到的大批量插入问题?导入Excel数据到MySQL是日常开发中经常遇到的任务之一。对于少量数据的导入,可以使用数据库客户端工具或者命令行进行插入操作。但当面对大批量数据导入时,简...
    99+
    2023-10-22
    数据导入 批量插入 Mysql问题解决
  • 如何解决mysql插入时间戳问题
    这篇文章将为大家详细讲解有关如何解决mysql插入时间戳问题,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。数据表中设置的是timestamp(6),然后时间...
    99+
    2022-10-18
  • MySQL位图索引如何解决用户画像问题
    这篇文章主要介绍了MySQL位图索引如何解决用户画像问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。用户画像的原始表,有一亿记录,100多...
    99+
    2022-10-18
  • 如何解决MySql整型索引和字符串索引失效或隐式转换问题
    这篇文章主要为大家展示了“如何解决MySql整型索引和字符串索引失效或隐式转换问题”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“如何解决MySql整型索引和字符串索引失效或隐式转换问题”这篇文章...
    99+
    2023-06-25
  • 如何解决vue引入新版vue-awesome-swiper插件填坑问题
    这篇文章主要介绍了如何解决vue引入新版vue-awesome-swiper插件填坑问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。问题为...
    99+
    2022-10-19
  • 如何使用MySQL位图索引解决用户画像问题
    这篇文章给大家分享的是有关如何使用MySQL位图索引解决用户画像问题的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。每个bigint类型包括60个记录的位信息.但是第0位表示第六十...
    99+
    2022-10-18
  • 如何解决MySQL中一个双引号的错位问题
    这篇文章主要讲解了“如何解决MySQL中一个双引号的错位问题”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何解决MySQL中一个双引号的错位问题”吧!&n...
    99+
    2022-10-18
  • 如何解决MySQL中因一个双引号错位引发的问题
    小编给大家分享一下如何解决MySQL中因一个双引号错位引发的问题,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!一、前言最近经常碰...
    99+
    2022-10-18
  • 如何解决Mysql大量数据导入遇到的问题
    这篇文章主要介绍如何解决Mysql大量数据导入遇到的问题,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!在项目中,经常会碰到往数据库中导入大量数据,以便利用sql进行数据分析。在导入数...
    99+
    2022-10-18
  • 如何解决Mysql导入大容量SQL文件数据问题
    这篇文章主要介绍了如何解决Mysql导入大容量SQL文件数据问题,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。mysql在通过导入sql文件...
    99+
    2022-10-19
  • MySQL全文索引如何解决like模糊匹配查询慢的问题
    这篇文章主要讲解了“MySQL全文索引如何解决like模糊匹配查询慢的问题”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“MySQL全文索引如何解决like模糊匹配查询慢的问题”吧!需求需要模...
    99+
    2023-07-04
  • 如何解决索引扫描时对同一个叶子块访问多次的问题
    本篇内容介绍了“如何解决索引扫描时对同一个叶子块访问多次的问题”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成...
    99+
    2022-10-18
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作