目录Mysql迁移历史数据需求陈述心路历程最终实现总结mysql迁移历史数据 记录一下工作中由于业务需要以及系统的数据库模型变更,导致需要做一下历史数据迁移的解决办法 需求陈述 一共
记录一下工作中由于业务需要以及系统的数据库模型变更,导致需要做一下历史数据迁移的解决办法
其实就是将一张表中的数据,拆分分别存入B和C中。但是B和C是一对多的关系。
Step1
insert into select
的语法形式来做数据迁移。Step2
Step3
sum、count、group by、case when
掺在一起又那么复杂又理不清,可咋办呢?insert into select
的阶段,但是因为主键并不是自增的,这个主键的问题得解决。整理一下问题:
上面这几个问题一出现,似乎已经没办法再使用insert into select
的形式了。
所以只能一个一个循环处理。那怎么循环呢?
这个时候就行到了游标。可是这两个东西,不管是触发器,还是游标这个技能都已经封存已久,一点不记得了。所以重新学习一下
学习参考了一下这个文章。我觉得写的还是蛮细致的
下面是我最终写完的存储过程。用了游标的嵌套
# --------------------------历史数据迁移----------------------
# 删除存储过程
drop procedure if exists convertHistory;
# 创建一个存储过程
create procedure convertHistory()
begin
# 定义一个主键
declare outerId bigint default (select min(RESOURCE_ID) from mkt_resource_conf);
# 定义查询插入的列
declare caseName varchar(32);
declare gradeId varchar(32);
declare flowGrade bigint(10);
declare allocateNum bigint(10);
declare province varchar(8);
declare flowUnit varchar(4);
# 是否完成
declare done int default false;
# 创建游标
declare orignData cursor for select CASE_NAME,
FLOW_GRADE,
GRADE_ID,
QUANTITY,
BUSI_REG_PROVINCE_CODE,
FLOW_UNIT
from prd_flow_info
where BUSI_REG_PROVINCE_CODE = '100';
# 指定游标循环结束时的返回值
declare continue HANDLER FOR not found set done = true;
# 把初始值ID减一个数目
set outerId = outerId - 100;
# 先把之前迁移的删掉
delete from mkt_resource_conf where REMARK = '历史数据割接';
# 删掉之前的
delete from mkt_resource_store_conf where REMARK = '历史数据割接';
# 打开游标
open orignData;
fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
while (not done) do
# 具体的业务逻辑
# 查询的都是配置项,那么插入到配置表
# 配置项需要查询一下该配置的总量
select sum(QUANTITY)
from prd_flow_info
where FLOW_GRADE = flowGrade
and BUSI_REG_PROVINCE_CODE = '99' into allocateNum;
# 1、2G 的流量直接做转换,转为MB
if flowUnit = 'G' then
set flowGrade = flowGrade * 1024;
end if;
insert into mkt_resource_conf
values (outerId, caseName, gradeId, flowGrade, allocateNum, allocateNum, 1, '没什么说明', 'system', 'system', sysdate(),
'system', 'system',
sysdate(), '1', '历史数据割接');
# 查询门店的配置,并且插入到门店的配置信息表
# 这里就要写一个嵌套的游标了
begin
# 定义一个配置表的ID
declare storeConfId bigint default (select min(STORE_CONF_ID) from mkt_resource_store_conf);
declare storeCode varchar(32);
declare alloNum bigint(10);
declare usedNum bigint(10);
declare storeDone int default false;
declare storeName varchar(128);
# 定义游标
declare storeData cursor for select store_code,QUANTITY,USE_NUM
from prd_flow_info
where GRADE_ID = gradeId
and BUSI_REG_PROVINCE_CODE = '99';
declare continue HANDLER FOR not found set storeDone = true;
# select gradeId;
set storeConfId = storeConfId - 100;
# 开始游标了
open storeData;
fetch storeData into storeCode,alloNum,usedNum;
while (not storeDone) do
# 从表里查一下storeName,没有就没辙了
select STORE_NAME from mkt_resource_store_conf where STORE_CODE = storeCode limit 1 into storeName;
# 开始保存到门店配置表
insert into `mkt_resource_store_conf` (`store_conf_id`, `resource_id`, `store_code`, `STORE_NAME`,
`allocated_res_num`,
`used_res_num`,
`create_id`, `create_name`, `create_time`, `update_id`, `update_name`,
`update_time`,
`state`, `remark`)
values (storeConfId, outerId, storeCode, storeName, alloNum, usedNum, 'system', 'system', sysdate(), 'system',
'system',
sysdate(),
1, '历史数据割接');
commit ;
# ID -1
set storeConfId = storeConfId - 1;
fetch storeData into storeCode,alloNum,usedNum;
end while;
# 重置变量
set storeDone = false;
# 关闭内层游标
close storeData;
end;
# 把初始值ID减一
set outerId = outerId - 1;
fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
end while;
# 关闭游标
close orignData;
SELECT * FROM mkt_resource_conf where REMARK = '历史数据割接';
SELECT * FROM mkt_resource_store_conf where REMARK = '历史数据割接';
end;
call convertHistory();
没开始的时候觉得会很难,但是真的边学边写的时候,心情就会逐渐转变。万事开头难说的不错,一旦开始获得正向反馈,问题也就慢慢的迎刃而解了。
其实这个写的并不复杂,只是代码比较长。
总结一下:
declare procedure
declare 游标名 cursor for (select 语句)
open 游标名
关闭游标close 游标名
fetch 游标名 into 事先定义的变量
来获得每一条数据(有点像es6的generator,走一步踢一脚)select xxx into 变量
和 set xxx = 变量值
总的来说掌握基本语法,或者看一眼别人的格式,就可以模仿出来了。
以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。
--结束END--
本文标题: Mysql存储过程如何实现历史数据迁移
本文链接: https://www.lsjlt.com/news/178120.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
2024-05-03
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0