返回顶部
首页 > 资讯 > 数据库 >redis分片集群如何搭建与使用
  • 622
分享到

redis分片集群如何搭建与使用

2024-04-02 19:04:59 622人浏览 薄情痞子
摘要

本文小编为大家详细介绍“Redis分片集群如何搭建与使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“redis分片集群如何搭建与使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识

本文小编为大家详细介绍“Redis分片集群如何搭建与使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“redis分片集群如何搭建与使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。

前言

redis可以说在实际项目开发中使用的非常频繁,在redis常用集群中,我们聊到了redis常用的几种集群方案,不同的集群对应着不同的场景,并且详细说明了各种集群的优劣,本篇将以redis 分片集群为切入点,从redis 分片集群的搭建开始,详细说说redis 分片集群相关的技术点;

  • 单点故障;

  • 单机写(高并发写)瓶颈;

  • 单机存储数据容量限制;

  • 集群自动伸缩;

  • 集群自动故障下线与转移;

搭建集群架构

redis分片集群如何搭建与使用

前置准备

1、准备一台(或6台服务器,条件允许的情况下)虚拟机或服务器;

本例为演示效果准备了一台内存8G的服务器,将通过端口进行master和slave的划分

redis分片集群如何搭建与使用

2、提前下载好redis安装包;

redis分片集群如何搭建与使用

搭建步骤

1、创建6个目录文件,分别用于保存各个redis示例的数据

mkdir 7001 7002 7003 8001 8002 8003

2、在当前目录下创建一个redis.conf文件,内容如下

port 6379
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称,不需要我们创建,由redis自己维护
cluster-config-file /usr/local/soft/redis/6379/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /usr/local/soft/redis/6379
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 本机公网IP
# 保护模式
protected-mode no
# 数据库数量
databases 1
# 日志
logfile /usr/local/soft/redis/6379/run.log

3、批量将该配置文件拷贝到各个目录下

echo 7001 7002 7003 8001 8002 8003 | xargs -t -n 1 cp redis.conf

redis分片集群如何搭建与使用

redis分片集群如何搭建与使用

4、修改每个目录下redis.conf,将其中的6379修改为与所在目录一致

printf '%s\n' 7001 7002 7003 8001 8002 8003 | xargs -I{} -t sed -i 's/6379/{}/g' {}/redis.conf

redis分片集群如何搭建与使用

随机打开某个redis.conf看看是否修改成功

redis分片集群如何搭建与使用

4、使用下面的命令进行启动

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7003/redis.conf

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8001/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8002/redis.conf
/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/8003/redis.conf

执行完成后,可以看到6个redis实例已经开启

redis分片集群如何搭建与使用

创建集群

通过以上的步骤,就开启了6个redis的实例,但是这些实例之间并没有形成一个集群,接下来就需要执行相关的命令将它们构成一个集群

1、使用如下命令构建集群(5.0之后的版本的命令)

redis-cli --cluster create --cluster-replicas 1 IP地址:7001 IP地址:7002 IP地址:7003 IP地址:8001 IP地址:8002 IP地址:8003

关于上面命令的说明

  • redis-cli --cluster 或者 ./redis-trib.rb:代表集群操作命令;

  • create:代表是创建集群;

  • –replicas 1或者–cluster-replicas 1 :指定集群中每个master的副本个数为1,此时节点总数 ÷ (replicas + 1)得到的就是master的数量。因此节点列表中的前n个就是master,其它节点都是slave节点,随机分配到不同master ;

也可以通过 redis-cli --cluster help 命令进行集群命令的查看;

执行命令后,控制台提示将会使用哪个示例作为master,哪个作为slave;

redis分片集群如何搭建与使用

继续输入yes之后,将会按照上面的策略创建一个集群出来

redis分片集群如何搭建与使用

通过这个输出的日志大概可以得出如下信息:

  • 端口号依次为7001,7002和7003的为master节点;

  • 端口号依次为8001,8002和8003的为slave节点;

  • 端口号依次为7001,7002和7003的master节点,各自分配了一定区间的槽位数,分别是:[0-5460],[5461-10922],[10923-16383],即总共分配16384个槽位;

2、查看集群状态

redis-cli -p 7001 cluster nodes

redis分片集群如何搭建与使用

通过这个命令,可以清楚的看到集群中各个实例节点的主从状态,实例ID(唯一身份标识),槽位区间等信息

Redis散列插槽说明

其实对redis分片集群稍有了解的同学应该知道,redis分片集群在逻辑上将集群中的所有节点构成了一块完整的内存空间,数据写入进来后,具体存放到哪个节点呢?所以集群引入了一个逻辑尚的插槽概念,即将集群划分为16384个槽位,集群中的每个节点占据一部分槽位数(这个日志中可以看出来);

那么当某个具体的key写入的时候,集群将会通过一定的算法,将要写入的数据路由到指定的插槽上去;

这里有个点需要注意,数据key不是与节点绑定,而是与插槽绑定。

redis集群会根据key的有效部分计算插槽值,分两种情况:

  • key中包含"{}",且“{}”中至少包含1个字符,“{}”中的部分是有效部分;

  • key中不包含“{}”,整个key都是有效部分;

举例来说:key是num,那么就根据num计算,如果是{应用名称}num,则根据“应用名称”计算。计算方式是利用CRC16算法得到一个hash值,然后对16384取余,得到的结果就是slot值

下面不妨看下效果

redis分片集群如何搭建与使用

通过上面的演示可以发现,经过集群计算的key将会分配到不同的插槽上,也就是说,key是与插槽绑定,而不是与某个节点绑定,想想为什么会这样呢?

思考下面这个需求

如何将同一类数据固定的保存在同一个Redis实例?

简单来说,如果key的分配完全没有规则的话,当涉及到某个业务类的数据对应的key随机分配到不同的节点上面时,取值的时候就会出现像上面的重定向跨节点的问题,一定程度上提升性能;

解决办法

这一类数据使用相同的有效部分,例如key都以{业务ID}为前缀

redis分片集群如何搭建与使用

集群伸缩(添加节点)

reids的cluster模式下,有一个比较强的功能就是集群的伸缩能力,即在现有的集群基础上,可以根据实际的业务需求,进行集群的伸缩,下面来演示下给上面的集群添加一个新节点的步骤;

1、在当前目录下拷贝一个目录

redis分片集群如何搭建与使用

2、修改配置文件的端口

sed -i s/6379/7004/g 7004/redis.conf

redis分片集群如何搭建与使用

3、启动这个实例

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7004/redis.conf

redis分片集群如何搭建与使用

4、使用下面的命令将7004实例假如集群

redis-cli --cluster add-node IP:7004 IP:7001

redis分片集群如何搭建与使用

5、再次查看集群状态

redis-cli -p 7001 cluster nodes

redis分片集群如何搭建与使用

通过上面的状态信息发现,7004这个节点虽然加入了集群,并成了master,但是集群并没有给它分配任何的插槽

6、分配插槽

分配插槽的基本思路是,从现有的某个节点上迁移部分插槽到新的节点即可,执行下面的命令进行插槽分配

redis-cli --cluster reshard 101.34.23.80:7001

执行命令后将出现下面的提示,这里输入你要转移的插槽数量

redis分片集群如何搭建与使用

将7004对应的实例ID输入即可

redis分片集群如何搭建与使用

redis分片集群如何搭建与使用

输入yes后开始移动插槽

redis分片集群如何搭建与使用

redis分片集群如何搭建与使用

移动完成后,再次查看集群状态,这时候7004对应的节点就分配到了从0 ~ 500的数量的插槽

redis分片集群如何搭建与使用

故障转移

redis的cluster模式的集群,还具备一定的故障转移能力,比如在上面的架构模式下,当集群中的某个master节点宕机之后,会出现什么情况呢?下面我们来模拟下这个过程,看看效果如何

1、使用watch命令监控下集群的状态

通过这个命令可以实时查看集群的动态日志变化

watch redis-cli -p 7001 cluster nodes

redis分片集群如何搭建与使用

2、手动将7002实例的master宕机

redis-cli -p 7002 shutdown

redis分片集群如何搭建与使用

从上面的监控日志不难发现,当7002挂掉后,过了一会儿与集群以及它的从节点8003失去了联系,然后8003这个节点升级为master节点;

3、手动将7002实例启动起来

/usr/local/soft/redis/redis60/src/redis-server /usr/local/soft/redis/7002/redis.conf

redis分片集群如何搭建与使用

再次分析日志,可以看到这时候7002只能以slave的身份加入了集群,事实上在某些情况下,我们仍然希望这个宕机的节点恢复后依然是主节点,这该怎么办呢?这就涉及到了手动故障转移,主要操作步骤如下:

  • 使用redis-cli连接7002节点;

  • 执行cluster failover命令;

在上面执行之后的情况下,7002是一个slave节点

redis分片集群如何搭建与使用

执行 CLUSTER FAILOVER 命令,观察日志动态变化,通过日志变化,可以看到,命令执行完毕后,7002很快就变成了master,而8003成了slave;

redis分片集群如何搭建与使用

通过以上步骤就完成了redis的cluster模式下的故障转移的过程

使用redistemplate访问分片集群

1、引入依赖

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

2、将配置文件中的集群地址修改成下面这样即可

spring:
  redis:
    cluster:
      nodes:
       - 集群IP:7001
       - 集群IP:7002
       - 集群IP:7003
       - 集群IP:7004
       - 集群IP:8001
       - 集群IP:8002
       - 集群IP:8003

至于具体的代码部分,可以参考下面的这个测试案例

	@Autowired
    private RedisTemplate<String,String> redisTemplate;

    //localhost:8083/set?key=b&value=123
    @GetMapping("/set")
    public void set(@RequestParam String key,@RequestParam String value){
        redisTemplate.opsForValue().set(key,value);
    }

    //localhost:8083/get?key=b
    @GetMapping("/get")
    public String get(@RequestParam String key){
        return redisTemplate.opsForValue().get(key);
    }

读到这里,这篇“redis分片集群如何搭建与使用”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注编程网数据库频道。

您可能感兴趣的文档:

--结束END--

本文标题: redis分片集群如何搭建与使用

本文链接: https://www.lsjlt.com/news/73958.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • redis分片集群如何搭建与使用
    本文小编为大家详细介绍“redis分片集群如何搭建与使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“redis分片集群如何搭建与使用”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识...
    99+
    2024-04-02
  • redis 分片集群搭建与使用教程
    目录前言搭建集群架构图前置准备搭建步骤创建集群Redis散列插槽说明集群伸缩(添加节点)故障转移使用redistemplate访问分片集群前言 redis可以说在实际项目开发中使用的非常频繁,在redis常用集群中,我们...
    99+
    2022-06-29
    redis 分片集群 redis分片集群搭建
  • redis集群搭建如何使用
    搭建 redis 集群步骤:规划集群拓扑配置 redis 服务器创建集群创建槽添加数据redis 集群优点:高可用性可扩展性线性可伸缩性数据分区注意事项:集群管理客户端支持数据丢失 R...
    99+
    2024-06-12
    redis 数据丢失
  • redis集群如何搭建
    这篇文章给大家分享的是有关redis集群如何搭建的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。介绍安装环境与版本用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master...
    99+
    2024-04-02
  • 如何搭建redis集群
    这篇文章主要讲解了“如何搭建redis集群”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何搭建redis集群”吧!redis集群搭建在开始redis集群搭建之前,我们先简单回顾一下redi...
    99+
    2023-06-25
  • mongodb 分片集群搭建
    环境介绍:...
    99+
    2024-04-02
  • docker如何搭建redis集群
    要搭建Redis集群,可以使用Docker来进行部署。下面是一种常见的方法:1. 创建一个文件夹,在文件夹中创建一个名为`docke...
    99+
    2023-08-23
    docker redis
  • 分布式Redis Cluster集群搭建与Redis基本用法
    目录Redis 集群搭建Redis 是啥集群(Cluster)Redis Cluster 说明Redis Cluster 节点Redis Cluster 集群模式不能保证一致性创建和...
    99+
    2024-04-02
  • 搭建高可用MongoDB集群(分片)
    MongoDB基础请参考:https://blog.51cto.com/kaliarch/2044423MongoDB(replica set)请参考:https://blog.51cto.com/kali...
    99+
    2024-04-02
  • 如何搭建Redis集群环境
    本篇文章为大家展示了如何搭建Redis集群环境,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。1 Redis集群环境搭建方便起见,这里集群环境的所有节点全部位于同一个...
    99+
    2024-04-02
  • Windows下如何搭建Redis集群
    这篇文章给大家分享的是有关Windows下如何搭建Redis集群的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。Redis集群:如果部署到多台电脑,就跟普通的集群一样;因为Redis是单线程处理的,多核CPU也只能...
    99+
    2023-06-29
  • Docker-Compose如何搭建Redis集群
    本篇内容介绍了“Docker-Compose如何搭建Redis集群”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1. 集群配置3主+3从由于...
    99+
    2023-07-05
  • CentOS 7.0中怎么搭建与使用Redis集群
    CentOS 7.0中怎么搭建与使用Redis集群,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。安装 Redis下载,解压,编译:$ cd ...
    99+
    2023-06-16
  • 5分钟搭建redis集群(redis5.0.5)
    环境:centos 7 1:下载并安装redis $ wget http://download.redis.io/releases/redis-5.0.5.tar.gz $ ta...
    99+
    2024-04-02
  • mongodb分片集群怎么搭建
    要搭建一个MongoDB分片集群,您需要遵循以下步骤: 安装MongoDB:在每个节点上安装MongoDB。您可以从MongoD...
    99+
    2023-10-26
    mongodb
  • 使用redis-cli搭建redis5.x集群
    这篇文章给大家介绍使用redis-cli搭建redis5.x集群,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。1,创建下载目录,下载安装mkdir -p /usr/local/src/...
    99+
    2024-04-02
  • Redis 6.X Cluster集群如何搭建
    这篇文章将为大家详细讲解有关Redis 6.X Cluster集群如何搭建,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。 Part1Redis 6.X Cluster 集群搭建1下载解压可直接到...
    99+
    2023-06-15
  • 如何进行Zookeeper分析与集群搭建
    本篇文章为大家展示了如何进行Zookeeper分析与集群搭建,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。Zookeeper简介Zookeeper是一个高效的分布式协调服务,可以提供配置信息管理、命...
    99+
    2023-06-02
  • MongoDB中怎么搭建分片集群
    本篇文章为大家展示了MongoDB中怎么搭建分片集群,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。MongoDB分片集群基本组件介绍mongos:数据库集群请求的入...
    99+
    2024-04-02
  • Redis笔记整理(二):Java API使用与Redis分布式集群环境搭建
    [TOC] Redis Java API使用(一):单机版本Redis API使用 Redis的Java API通过Jedis来进行操作,因此首先需要Jedis的第三方库,因为使用的是Maven工程,所以...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作