iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Sharding-Proxy分库分表和数据加密使用场景分析
  • 261
分享到

Sharding-Proxy分库分表和数据加密使用场景分析

2024-04-02 19:04:59 261人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录Sharding-Proxy分库分表和数据加密使用场景配置文件讲解server.yamlconfig-sharding.yamlconfig-encrypt.yaml其他使用情况

Sharding-Proxy分库分表和数据加密

主要将实际项目中使用shardingshpere-proxy的经历经验,总结分享一下。

使用场景

  • 公司规划研发了两款针对政务新媒体和数字乡村的SaaS平台,作为新的利润增长点。考虑到以后的用户数量和数据数量,决定按照租户(签约客户)进行分库分表。对于一些敏感数据,例如身份证号、手机号等,使用数据库级别的加密解密,不存储明文数据。
  • 考察了网上已有的一些数据库中间件和分库分表解决方案,公司决定使用Sharding-Proxy作为分库分表和数据加密的数据库中间件。主要原因是,它对代码的侵入性很小,开发人员也不需要关注它,减少了学习成本,对DBA也很友好。另一方面,ShardingSphere已进入Apache孵化器,它完全开源免费,社区也很活跃,版本迭代也很快。
  • 本次使用的ShardingSphere-5.0

配置文件讲解

server.yaml

  • resources文件夹,conf文件夹下面
  • 主要有注册中心配置、登录连接配置和基础配置
mode:
  type: Cluster  # 集群
  repository:
    type: ZooKeeper  # 使用zookeeper
    props:
      namespace: Governance_ds  
      server-lists: 192.168.1.100:2181
      retryIntervalMilliseconds: 50000
      timeToLiveSeconds: 60
      maxRetries: 3
      operationTimeoutMilliseconds: 50000
  overwrite: true 
  • mode.type: Cluster使用集群配置,单个部署也可以设置为Cluster,没影响
  • mode.repository 配置存储方式,可以选择使用ZooKeeper
  • mode.overwrite,配置加载方式,本地配置是否覆盖配置中心配置。true是可覆盖,以本地为准,将本地配置同步到zookeeper;false则以zookeeper为准
  • 下面还有一些基础配置,是否打印sql等,暂时可都是要默认

config-sharding.yaml

  • resources文件夹,conf文件夹下面
  • schemaName 数据库连接,数据库名称
  • dataSources 数据源
  • rules 规则
  • !SHARDING 分库分表规则
  • tables 表
  • actualDatanodes 实际对于库表
  • databaseStrategy 分库策略 none 不分库分表
  • defaultDatabaseStrategy 默认分库策略
  • defaultTableStrategy 默认分表策略
  • defaulTKEyGenerateStrategy 默认主键策略
  • shardingAlgorithms 自定义分片算法
  • keyGenerators 主键生成策略

config-encrypt.yaml

  • resources文件夹,conf文件夹下面
  • schemaName 数据库连接,数据库名称
  • dataSources 数据源
  • rules 规则
  • !ENCRYPT 数据加密
  • encryptors 加密策略,可选择AES或MD5,在下面具体字段可选则加密策略
  • aes_encryptor,aes可以配置加盐
  • tables 表
  • columns 字段s
  • id_number 逻辑字段
  • plainColumn 原字段
  • cipherColumn 加密字段
  • encryptorName 加密策略
  • queryWithCipherColumn 查询时是否使用加密字段

其他

  • 可以下载源码或者下载程序看看,里面的功能,都有配置文件案例,是注释掉的,一款postgresql的,一款Mysql
  • 目前就使用这2个功能,其他功能暂时没研究,就不多说了
  • 实际使用时,分库分表和数据加密是一起使用的,所以只用了一个配置文件,都放在rules下面
  • 后面我会把我的配置文件贴上去

使用情况

  • 政务新媒体SaaS平台暂时只使用分库分表
  • 数字乡村SaaS平台,使用了分库分表和数据加密
  • 分库分表,主要做了基于租户分库,部分表,又根据某些业务字段做了分表
  • 分表策略,默认分8个表写法algorithm-expression: monitor_record_${media_id % 8}
  • 我们基于租户的哈希进行分库,但对于某些租户,又想指定数据库,这就需要自定义分库分表策略
  • 要求分库支持哈希和指定,写了自定义分库策略类,有一个静态map,解析执行SQL时,先从map里获取,获取不到,则根据哈希获取
  • 数据加密,主要是添加加密字段和对历史数据处理
  • 可以写一个静态方法,对已存在数据进行处理

总结

  • sharding-proxy对于按照租户分库分表,以及数据加密,是完全支持的,足够我们使用
  • 使用起来很简单,下载最新稳定版安装即可
  • 如果没有自定义分库分表策略要求,只使用已有的策略,那只需要修改配置文件部署即可
  • 如果需要自定义分库分表策略,也不复杂,写好类打包好,放入ext-lib下即可
  • 配置文件部分示例
schemaName: digital_village
dataSources:
  ds:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village?currentSchema=public&serverTimezone=UTC&useSSL=false
    username: postgres
    passWord: xxxxxx
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 120
    minPoolSize: 1
  ds_0:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_0?currentSchema=public&serverTimezone=UTC&useSSL=false
  ds_1:
    url: jdbc:postgresql://192.168.1.xxx:5432/digital_village_1?currentSchema=public&serverTimezone=UTC&useSSL=false
    password: xxxxx
rules:
  - !SHARDING
    tables:
      # 需要分库的表,根据租户id分库
      cms_basic_info:
        actualDataNodes: ds_${0..3}.cms_basic_info
      cms_column:
        actualDataNodes: ds_${0..3}.cms_column
      cms_content:
        actualDataNodes: ds_${0..3}.cms_content
      cms_content_text:
        actualDataNodes: ds_${0..3}.cms_content_text
      cms_menu_column_bind:
        actualDataNodes: ds_${0..3}.cms_menu_column_bind
      cms_message_board:
        actualDataNodes: ds_${0..3}.cms_message_board
      # 不需要分库分表的表,全部存储在 ds 数据源
      auth_cfg_catalog_data_permission:
        actualDataNodes: ds.auth_cfg_catalog_data_permission
        databaseStrategy: 
          none:
      auth_cfg_column_data_permission:
        actualDataNodes: ds.auth_cfg_column_data_permission
        databaseStrategy:
      
    # 默认分库策略
    defaultDatabaseStrategy:
      standard:
        shardinGColumn: customer_id  #分库字段
        shardingAlgorithmName:  customer_id_inline #分库规则:
    defaultTableStrategy:
      none:
    # 默认主键策略
    defaultKeyGenerateStrategy:
      column: id
      keyGeneratorName: snowflake
    # 自定义分片算法
    shardingAlgorithms:
      customer_id_inline:
        type: CLASS_BASED
        props:
          strategy: standard
          algorithmClassName: cn.lonsun.dv.DigitalVillageShardingAlgorithm
    # 主键生成策略
    keyGenerators:
      snowflake:
        type: SNOWFLAKE
          worker-id: 123
  - !ENCRYPT
    encryptors:
      aes_encryptor:
        type: AES
          aes-key-value: xxxwwaS213123SAD
      md5_encryptor:
        type: MD5
      party_position:
        columns:
          mobile:
            plainColumn: mobile
            cipherColumn: mobile_cipher
            encryptorName: aes_encryptor
      village_population:
          id_number:
            plainColumn: id_number
            cipherColumn: id_number_cipher
    queryWithCipherColumn: true

到此这篇关于Sharding-Proxy分库分表和数据加密的文章就介绍到这了,更多相关Sharding-Proxy分库分表内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Sharding-Proxy分库分表和数据加密使用场景分析

本文链接: https://www.lsjlt.com/news/145785.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Sharding-Proxy分库分表和数据加密使用场景分析
    目录Sharding-Proxy分库分表和数据加密使用场景配置文件讲解server.yamlconfig-sharding.yamlconfig-encrypt.yaml其他使用情况...
    99+
    2024-04-02
  • Sharding-Proxy分库分表和数据加密怎么实现
    这篇文章主要介绍“Sharding-Proxy分库分表和数据加密怎么实现”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Sharding-Proxy分库分表和数据加密怎么实现”文章能帮助大家解决问题。...
    99+
    2023-06-30
  • 使用ShardingSphere-Proxy实现分表分库
    目录1. 环境准备2. 数据库脚本准备3. 配置 ShardingSphere-Proxy分表原理解析参考:Sharding-Proxy的基本功能使用 1. 环境准备 MySql 5...
    99+
    2024-04-02
  • MySQL数据库丢失数据的场景分析
    本篇内容主要讲解“MySQL数据库丢失数据的场景分析”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“MySQL数据库丢失数据的场景分析”吧! MySQL数据库丢...
    99+
    2024-04-02
  • Java使用Sharding-JDBC分库分表进行操作
    目录主从库搭建Compose FileMaster 配置Slave 配置主从配置创建分库分表Order 1 库Order 2 库User 库Sharding-JDBC 引入Shard...
    99+
    2024-04-02
  • SpringBoot 如何使用sharding jdbc进行分库分表
    目录基于4.0版本,Springboot2.1在pom里确保有如下引用里面我profiles.active了另一个之后手工把表都建好写个测试代码需要注意一个坑基于4.0版本,Spri...
    99+
    2024-04-02
  • SpringBoot @ModelAttribute使用场景分析
    前言 项目中遇到这么一个使用场景,用户的登录信息给予token保存,在需要有登录信息的地方,每次都要去获取用户Id,但每次在请求方法中去获取用户信息,代码重复,冗余,很low于是想到...
    99+
    2024-04-02
  • Flowable ReceiveTask使用场景分析
    目录1. 使用场景2. 实践2.1 绘制流程图2.2 部署2.3 分析1. 使用场景 在之前的案例中,松哥和大家举例最多的 Task 主要是 UserTask 和 ServiceTa...
    99+
    2022-11-13
    Flowable ReceiveTask使用场景 Flowable ReceiveTask
  • Vue中created和mounted使用场景分析
    目录一、生命周期概念二、浏览器渲染过程三、生命周期中的浏览器渲染beforeCreate阶段created阶段beforeMount阶段mounted阶段四、使用场景五、常见相关问题...
    99+
    2023-05-20
    Vue中created和mounted Vue created和mounted
  • sql与各个nosql数据库使用场景的示例分析
    这篇文章主要介绍了sql与各个nosql数据库使用场景的示例分析,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。sql为主干为什么我这样理解:...
    99+
    2024-04-02
  • nginxrewrite功能使用场景分析
    目录前言rewrite简介Rewrite规则与指令set指令if指令return指令rewrite指令URL和URI的区别rewrite_log指令一、rewrite配置域名跳转1、...
    99+
    2024-04-02
  • redis五大数据结构和使用场景的示例分析
    这篇文章主要介绍redis五大数据结构和使用场景的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!老规矩,先抛结论后验证string:有点像java的hashMap,存的时候什么key,取的时候也什么key,常...
    99+
    2023-06-14
  • 如何使用sharding-jdbc实现水平分库+水平分表
    这篇文章给大家分享的是有关如何使用sharding-jdbc实现水平分库+水平分表的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。分库分表策略:将id为偶数的存入到库1中,奇数存入到库2中,在每个库中,再根据学生的...
    99+
    2023-06-22
  • Android Room数据库加密的示例分析
    这篇“Android Room数据库加密的示例分析”除了程序员外大部分人都不太理解,今天小编为了让大家更加理解“Android Room数据库加密的示例分析”,给大家总结了以下内容,具有一定借鉴价值,内容详细步骤清晰,细...
    99+
    2023-06-26
  • SpringBoot2如何整合Sharding-Jdbc中间件实现数据分库分表
    小编给大家分享一下SpringBoot2如何整合Sharding-Jdbc中间件实现数据分库分表,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!一、水平分割1、水平分库1)、概念:以字段为依据,按照一定策略,将一个库中的数据...
    99+
    2023-06-02
  • python实现Mysql数据库批量新增数据的场景分析
    一、批量插入数据的场景 在进行数据压力时需要进行大数据量的测试比如登录要进行千人用户同时登录比如数据加工由于源数据没有,需要我们进行数据库数据的插入选择方法使用Jmeter进行接口数...
    99+
    2024-04-02
  • PHP中的数据分库和分表
    PHP是一种常用的编程语言,用于开发Web应用程序。在现代Web应用程序中,数据处理是非常重要的一部分。随着Web应用程序中使用数据的不断增加,数据的分库和分表已经成为数据处理的基本技术之一。在PHP应用中,数据分库和分表也是一个非常重要的...
    99+
    2023-05-23
    PHP编程 数据分库 数据分表
  • Go中sync 包Cond使用场景分析
    目录背景Cond 简介使用示例Signal的使用场景Broadcast的使用场景注意事项背景 编写代码过程中, 通常有主协程和多个子协程进行协作的过程,比如通过 WaitGroup ...
    99+
    2023-03-03
    Go 使用 sync.cond go sync包cond使用
  • 微服务SpringBoot整合Jasypt加密工具的场景分析
    目录一、Jasypt介绍二、Jasypt手动使用2.1 密码加密场景2.2 文本加密场景2.3 数值加密场景2.4 二进制数据加密场景三、Jasypt整合SpringBoot四、生成...
    99+
    2022-11-13
    SpringBoot整合Jasypt Jasypt加密工具 Java加密工具包
  • redis的五大数据类型应用场景分析
    目录1、对象的类型与编码2、字符串对象3、列表对象4、哈希对象5、集合对象6、有序集合对象7、五大数据类型的应用场景1、对象的类型与编码   Redis使用前面说的五大数据类型来表示...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作