广告
返回顶部
首页 > 资讯 > 数据库 >Mysql存储过程如何实现历史数据迁移
  • 271
分享到

Mysql存储过程如何实现历史数据迁移

Mysql存储过程Mysql历史数据迁移Mysql数据迁移 2023-01-28 06:01:46 271人浏览 泡泡鱼
摘要

目录Mysql迁移历史数据需求陈述心路历程最终实现总结mysql迁移历史数据 记录一下工作中由于业务需要以及系统的数据库模型变更,导致需要做一下历史数据迁移的解决办法 需求陈述 一共

mysql迁移历史数据

记录一下工作中由于业务需要以及系统的数据库模型变更,导致需要做一下历史数据迁移的解决办法

需求陈述

  • 一共涉及到三张表,分别称为A、B、C
  • 历史数据在表A中。
  • A表中存的数据有两部分,通过一个busi_reg_province_code 字段来区分
  • 一部分插入到B表,一部分插入到C表(就是用busi_reg_province_code来区分的两部分)
  • 存入B中的部分,对于存入C中的部分是一对多的关系。(相当于B是做个汇总,C是详细情况)
  • 存入B的要计算存入C的某一字段值的总和

其实就是将一张表中的数据,拆分分别存入B和C中。但是B和C是一对多的关系。

心路历程

Step1

  • 说到数据迁移,第一想法就是通过insert into select 的语法形式来做数据迁移。
  • 但是因为B是C数据的汇总,所以不免需要使用一些聚合函数做计算,还要分组。
  • 嗯~想想就头大。
  • 尝试着写了一下以后,最后还是放弃了。(突然觉得自己对SQL是一无所知,菜的抠jio

Step2

  • 放弃了写sql,怎么办呢?需求还得做。
  • 那作为一名JAVA开发,于是写一个接口的想法诞生了。
  • 整理一下思路,发现用JAVA写,嗯~(会心一笑)还是很容易的。
  • 毕竟java8的流式处理还是很方便的。但是就在这时,心里突然又觉得 emm~ 我这样逃避好像也不好啊。
  • 没有长进都,而且这个接口就调用一次,属实是有点不合适。
  • 所以觉得还是放弃JAVA方式。

Step3

  • 既然还是用SQL语句来写,但是什么sum、count、group by、case when 掺在一起又那么复杂又理不清,可咋办呢?
  • 那只好 必应一下。刚好查到了存储结构
  • 但是此时思想还是停留在insert into select 的阶段,但是因为主键并不是自增的,这个主键的问题得解决。

整理一下问题:

  • 主键非自增,所以怎么赋值?
  • 需要计算总值的列怎么计算?
  • 怎么能写一个SQL把两个表都插入完成?

上面这几个问题一出现,似乎已经没办法再使用insert into select的形式了。

所以只能一个一个循环处理。那怎么循环呢?

这个时候就行到了游标。可是这两个东西,不管是触发器,还是游标这个技能都已经封存已久,一点不记得了。所以重新学习一下

学习参考了一下这个文章。我觉得写的还是蛮细致的

最终实现

下面是我最终写完的存储过程。用了游标的嵌套

#  --------------------------历史数据迁移----------------------
# 删除存储过程
drop procedure if exists convertHistory;
# 创建一个存储过程
create procedure convertHistory()
begin
  #   定义一个主键
  declare outerId bigint default (select min(RESOURCE_ID) from mkt_resource_conf);
  # 定义查询插入的列
  declare caseName varchar(32);
  declare gradeId varchar(32);
  declare flowGrade bigint(10);
  declare allocateNum bigint(10);
  declare province varchar(8);
  declare flowUnit varchar(4);
  #   是否完成
  declare done int default false;
  # 创建游标
  declare orignData cursor for select CASE_NAME,
                                      FLOW_GRADE,
                                      GRADE_ID,
                                      QUANTITY,
                                      BUSI_REG_PROVINCE_CODE,
                                      FLOW_UNIT
                               from prd_flow_info
                               where BUSI_REG_PROVINCE_CODE = '100';
  #   指定游标循环结束时的返回值
  declare continue HANDLER FOR not found set done = true;
  #   把初始值ID减一个数目
  set outerId = outerId - 100;
  #   先把之前迁移的删掉
  delete from mkt_resource_conf where REMARK = '历史数据割接';
  #     删掉之前的
  delete from mkt_resource_store_conf where REMARK = '历史数据割接';
  # 打开游标
  open orignData;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  while (not done) do
  #     具体的业务逻辑
  #     查询的都是配置项,那么插入到配置表
  #     配置项需要查询一下该配置的总量
  select sum(QUANTITY)
  from prd_flow_info
  where FLOW_GRADE = flowGrade
    and BUSI_REG_PROVINCE_CODE = '99' into allocateNum;
  #     1、2G 的流量直接做转换,转为MB
  if flowUnit = 'G' then
    set flowGrade = flowGrade * 1024;
  end if;

  insert into mkt_resource_conf
  values (outerId, caseName, gradeId, flowGrade, allocateNum, allocateNum, 1, '没什么说明', 'system', 'system', sysdate(),
          'system', 'system',
          sysdate(), '1', '历史数据割接');
  #     查询门店的配置,并且插入到门店的配置信息表
  #     这里就要写一个嵌套的游标了
  begin
    #       定义一个配置表的ID
    declare storeConfId bigint default (select min(STORE_CONF_ID) from mkt_resource_store_conf);
    declare storeCode varchar(32);
    declare alloNum bigint(10);
    declare usedNum bigint(10);
    declare storeDone int default false;
    declare storeName varchar(128);
    #     定义游标
    declare storeData cursor for select store_code,QUANTITY,USE_NUM
                                 from prd_flow_info
                                 where GRADE_ID = gradeId
                                   and BUSI_REG_PROVINCE_CODE = '99';
    declare continue HANDLER FOR not found set storeDone = true;
    #     select gradeId;

    set storeConfId = storeConfId - 100;

    # 开始游标了
    open storeData;
    fetch storeData into storeCode,alloNum,usedNum;

    while (not storeDone) do
    #       从表里查一下storeName,没有就没辙了
    select STORE_NAME from mkt_resource_store_conf where STORE_CODE = storeCode limit 1 into storeName;
    #       开始保存到门店配置表
    insert into `mkt_resource_store_conf` (`store_conf_id`, `resource_id`, `store_code`, `STORE_NAME`,
                                           `allocated_res_num`,
                                           `used_res_num`,
                                           `create_id`, `create_name`, `create_time`, `update_id`, `update_name`,
                                           `update_time`,
                                           `state`, `remark`)
    values (storeConfId, outerId, storeCode, storeName, alloNum, usedNum, 'system', 'system', sysdate(), 'system',
            'system',
            sysdate(),
            1, '历史数据割接');
    commit ;
    #       ID -1
    set storeConfId = storeConfId - 1;
    fetch storeData into storeCode,alloNum,usedNum;
    end while;
    #     重置变量
    set storeDone = false;
    #     关闭内层游标
    close storeData;
  end;
  #   把初始值ID减一
  set outerId = outerId - 1;
  fetch orignData into caseName,flowGrade,gradeId,allocateNum,province,flowUnit;
  end while;
  #   关闭游标
  close orignData;

  SELECT * FROM mkt_resource_conf where REMARK = '历史数据割接';
  SELECT * FROM mkt_resource_store_conf where REMARK = '历史数据割接';
end;

call convertHistory();

总结

没开始的时候觉得会很难,但是真的边学边写的时候,心情就会逐渐转变。万事开头难说的不错,一旦开始获得正向反馈,问题也就慢慢的迎刃而解了。

其实这个写的并不复杂,只是代码比较长。

总结一下:

  • 首先要克服自己的心里恐惧
  • 定义存储过程的语法declare procedure
  • 了解游标及存储过程的使用场景
  • 定义游标的过程declare 游标名 cursor for (select 语句)
  • 打开游标open 游标名 关闭游标close 游标名
  • 将游标中查询的字段事先定义好,然后通过fetch 游标名 into 事先定义的变量 来获得每一条数据(有点像es6generator,走一步踢一脚)
  • 变量赋值select xxx into 变量set xxx = 变量值
  • 其他的就是条件控制语句loop 、while、if、else

总的来说掌握基本语法,或者看一眼别人的格式,就可以模仿出来了。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

您可能感兴趣的文档:

--结束END--

本文标题: Mysql存储过程如何实现历史数据迁移

本文链接: https://www.lsjlt.com/news/178120.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Mysql存储过程如何实现历史数据迁移
    目录Mysql迁移历史数据需求陈述心路历程最终实现总结Mysql迁移历史数据 记录一下工作中由于业务需要以及系统的数据库模型变更,导致需要做一下历史数据迁移的解决办法 需求陈述 一共...
    99+
    2023-01-28
    Mysql存储过程 Mysql历史数据迁移 Mysql数据迁移
  • 使用SQL SERVER存储过程实现历史数据迁移方式
    目录1、什么是历史数据迁移?2、历史数据迁移的目的3、什么时候需要做历史数据迁移?4、数据迁移的基本思路6、使用场景特别说明今天讲下软件开发中最常见的历史数据迁移方式。在讲迁移之前,...
    99+
    2022-11-12
  • Mysql如何实现数据迁移
    这篇文章将为大家详细讲解有关Mysql如何实现数据迁移,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。MySQL迁移通常使用的有三种方法:1、数据库直接导出,拷贝文件到新服...
    99+
    2022-10-18
  • MySQL数据如何实现迁移
    下文给大家带来有关MySQL数据如何实现迁移内容,相信大家一定看过类似的文章。我们给大家带来的有何不同呢?一起来看看正文部分吧,相信看完MySQL数据如何实现迁移你一定会有所收获。   ...
    99+
    2022-10-18
  • mysql存储过程数据怎么实现
    今天小编给大家分享一下mysql存储过程数据怎么实现的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解...
    99+
    2023-05-25
    mysql
  • [生产库实战] 采用存储过程对生产线历史表数据进行归档
        生产线历史数据归档是数据库运维的一项日常基本工作。在建表设计时,通常都将数据流水表(如:日志、用户登录历史,软件下载记录,用户属性更改历史表等)设计为范围分区表、间隔分区表(11...
    99+
    2022-10-18
  • 如何在PHP中实现MySQL存储过程
    PHP是一种非常流行的Web开发语言,是许多网站和应用程序的重要组成部分。存储过程是一种数据库对象,可以将多个SQL语句封装到一起,使其可以在一个事务运行中作为一个单元被执行。在PHP中,我们可以使用一些库和API来实现存储过程。本文将介绍...
    99+
    2023-05-14
    php 存储过程
  • 如何实现MySQL数据库的无缝迁移
    这篇文章主要介绍如何实现MySQL数据库的无缝迁移,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!MySQL数据库的无缝迁移问题?问:在平时的开始过程中,由于经常“需求理解,架构设计,...
    99+
    2022-10-19
  • 如何实现迁移RDS for MySQL数据到本地 MySQL
    不知道大家之前对类似如何实现迁移RDS for MySQL数据到本地 MySQL的文章有无了解,今天我在这里给大家再简单的讲讲。感兴趣的话就一起来看看正文部分吧,相信看完如何实现迁移RDS for MySQ...
    99+
    2022-10-18
  • MySQL存储过程的使用实现数据快速插入
    目录 一,存储过程介绍 二,存储过程的优缺点 优点 缺点 三,存储过程的创建与调用 3.1,存储过程中的常用语法及参数 3.2,存储过程的使用 (1),创建存储函数,向数据表中插入50条数据 (2),in输入参数的使用 (3),out参数的...
    99+
    2023-09-07
    sql 数据库
  • 数据库要从 Oracle 换成 MySQL,以前报表都是存储过程写的,怎么迁移呢?
    存储过程没法移植,差不多都要重新了。既然重写,还不如从根本上解决移植问题。 原来存储过程是“不得不用”,因为前端的报表工具不具备复杂计算能力,而为报表准备数据的逻辑又很复杂,用存储过程方便些。 但存储过程的缺点实在太多,除了不好调试,没...
    99+
    2014-05-14
    数据库要从 Oracle 换成 MySQL,以前报表都是存储过程写的,怎么迁移呢?
  • MySQL 数据库如何实现存储时间
    目录1.切记不要用字符串存储日期2.Datetime 和 Timestamp 之间抉择2.1 DateTime 类型没有时区信息的2.2 DateTime 类型耗费空间更大3.再看 ...
    99+
    2022-11-13
  • 如何实现MySQL中创建存储过程的语句?
    如何实现MySQL中创建存储过程的语句?MySQL是一种常用的关系型数据库管理系统,它提供了丰富的功能来实现数据的管理和查询。其中,存储过程是一种重要的数据库对象,它可以帮助我们封装一系列的SQL语句和逻辑,以便于重复使用和维护。本文将介绍...
    99+
    2023-11-08
    数据库编程 MySQL存储过程 创建过程语句
  • MySQL存储过程实现表内数据查询结果批量插入
    场景 为菜单表中所以机构(organization_id唯一标识)课程项目(一级菜单)菜单下新增图书管理子菜单并为所有机构增加该子菜单的绑定关系。具体查询步骤: (1)查询菜单表中有菜单配置的所有机构id; (2)查询相应机构对于的一...
    99+
    2022-04-02
    MySQL存储过程实现表内数据查询结果批量插入
  • Android如何通过SQLite数据库实现数据存储管理
    这篇文章主要介绍了Android如何通过SQLite数据库实现数据存储管理,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。0 实验环境在Android Studio中进行有关代...
    99+
    2023-06-25
  • 如何实现存储过程返回数组对象
    本篇内容主要讲解“如何实现存储过程返回数组对象”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“如何实现存储过程返回数组对象”吧! 其...
    99+
    2022-10-18
  • Linux中mysql如何通过存储过程实现批量生成记录
    这篇文章将为大家详细讲解有关Linux中mysql如何通过存储过程实现批量生成记录,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。Linux 下mysql通过存储过程实现批量生成记录在开发中有一个这样的需求...
    99+
    2023-06-09
  • MySQL存储过程的创建使用以及实现数据快速插入
    目录一,存储过程介绍二,存储过程的优缺点 三,存储过程的创建与调用3.1,存储过程中的常用语法及参数3.2,存储过程的使用四,存储过程中的变量及使用细则4.1,变量定义4.2,变量赋值4.3,用户变量的使用4....
    99+
    2023-03-09
    mysql如何快速添加数据 MySQL创建存储过程 mysql存储过程导入数据
  • 如何利用rman copy的方法实现存储上裸设备数据文件的迁移ITPUB
    小编给大家分享一下如何利用rman copy的方法实现存储上裸设备数据文件的迁移ITPUB,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧! 利用rman copy的方法实现存储上裸设备数据...
    99+
    2022-10-18
  • MySQL到DB2: 如何实现数据迁移和转化的自动化?
    MySQL到DB2: 如何实现数据迁移和转化的自动化?引言:随着信息技术的不断发展,许多企业需要将数据库从一个平台迁移到另一个平台。本文将重点介绍如何实现MySQL到DB2的数据库迁移和数据转化的自动化过程。一、方案选择和准备:在开始自动化...
    99+
    2023-10-22
    数据迁移 DB 关键词:MySQL
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作