iis服务器助手广告广告
返回顶部
首页 > 资讯 > 数据库 >使用Redis实现延时任务的解决方案
  • 339
分享到

使用Redis实现延时任务的解决方案

2024-04-02 19:04:59 339人浏览 薄情痞子
摘要

最近在生产环境刚好遇到了延时任务的场景,调研了一下目前主流的方案,分析了一下优劣并且敲定了最终的方案。这篇文章记录了调研的过程,以及初步方案的实现。 候选方案对比 下面是想到的几种实现延时任务的方案,总结了

最近在生产环境刚好遇到了延时任务的场景,调研了一下目前主流的方案,分析了一下优劣并且敲定了最终的方案。这篇文章记录了调研的过程,以及初步方案的实现。

候选方案对比

下面是想到的几种实现延时任务的方案,总结了一下相应的优势和劣势。

方案 优势 劣势 选用场景
jdk 内置的延迟队列 DelayQueue 实现简单 数据内存态,不可靠 一致性相对低的场景
调度框架和 Mysql 进行短间隔轮询 实现简单,可靠性高 存在明显的性能瓶颈 数据量较少实时性相对低的场景
RabbitMQ 的 DLX 和 TTL,一般称为 死信队列 方案 异步交互可以削峰 延时的时间长度不可控,如果数据需要持久化则性能会降低 -
调度框架和 Redis 进行短间隔轮询 数据持久化,高性能 实现难度大 常见于支付结果回调方案
时间轮 实时性高 实现难度大,内存消耗大 实时性高的场景

如果应用的数据量不高,实时性要求比较低,选用调度框架和 mysql 进行短间隔轮询这个方案是最优的方案。但是笔者遇到的场景数据量相对比较大,实时性并不高,采用扫库的方案一定会对 Mysql 实例造成比较大的压力。记得很早之前,看过一个PPT叫《盒子科技聚合支付系统演进》,其中里面有一张图片给予笔者一点启发:

使用Redis实现延时任务的解决方案

里面刚好用到了调度框架和 Redis 进行短间隔轮询实现延时任务的方案,不过为了分摊应用的压力,图中的方案还做了分片处理。鉴于笔者当前业务紧迫,所以在第一期的方案暂时不考虑分片,只做了一个简化版的实现。

由于PPT中没有任何的代码或者框架贴出,有些需要解决的技术点需要自行思考,下面会重现一次整个方案实现的详细过程。

场景设计

实际的生产场景是笔者负责的某个系统需要对接一个外部的资金方,每一笔资金下单后需要延时30分钟推送对应的附件。这里简化为一个订单信息数据延迟处理的场景,就是每一笔下单记录一条订单消息(暂时叫做 OrderMessage ),订单消息需要延迟5到15秒后进行异步处理。

使用Redis实现延时任务的解决方案

否决的候选方案实现思路

下面介绍一下其它四个不选用的候选方案,结合一些伪代码和流程分析一下实现过程。

JDK内置延迟队列

DelayQueue 是一个阻塞队列的实现,它的队列元素必须是 Delayed 的子类,这里做个简单的例子:


public class DelayQueueMain {
  private static final Logger LOGGER = LoggerFactory.getLogger(DelayQueueMain.class);
  public static void main(String[] args) throws Exception {
    DelayQueue<OrderMessage> queue = new DelayQueue<>();
    // 默认延迟5秒
    OrderMessage message = new OrderMessage("ORDER_ID_10086");
    queue.add(message);
    // 延迟6秒
    message = new OrderMessage("ORDER_ID_10087", 6);
    queue.add(message);
    // 延迟10秒
    message = new OrderMessage("ORDER_ID_10088", 10);
    queue.add(message);
    ExecutorService executorService = Executors.newSingleThreadExecutor(r -> {
      Thread thread = new Thread(r);
      thread.setName("DelayWorker");
      thread.setDaemon(true);
      return thread;
    });
    LOGGER.info("开始执行调度线程...");
    executorService.execute(() -> {
      while (true) {
        try {
          OrderMessage task = queue.take();
          LOGGER.info("延迟处理订单消息,{}", task.getDescription());
        } catch (Exception e) {
          LOGGER.error(e.getMessage(), e);
        }
      }
    });
    Thread.sleep(Integer.MAX_VALUE);
  }
  private static class OrderMessage implements Delayed {
    private static final DateTimeFORMatter F = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
    
    private static final long DELAY_MS = 1000L * 5;
    
    private final String orderId;
    
    private final long timestamp;
    
    private final long expire;
    
    private final String description;
    public OrderMessage(String orderId, long expireSeconds) {
      this.orderId = orderId;
      this.timestamp = System.currentTimeMillis();
      this.expire = this.timestamp + expireSeconds * 1000L;
      this.description = String.format("订单[%s]-创建时间为:%s,超时时间为:%s", orderId,
          LocalDateTime.ofInstant(Instant.ofEpochMilli(timestamp), ZoneId.systemDefault()).format(F),
          LocalDateTime.ofInstant(Instant.ofEpochMilli(expire), ZoneId.systemDefault()).format(F));
    }
    public OrderMessage(String orderId) {
      this.orderId = orderId;
      this.timestamp = System.currentTimeMillis();
      this.expire = this.timestamp + DELAY_MS;
      this.description = String.format("订单[%s]-创建时间为:%s,超时时间为:%s", orderId,
          LocalDateTime.ofInstant(Instant.ofEpochMilli(timestamp), ZoneId.systemDefault()).format(F),
          LocalDateTime.ofInstant(Instant.ofEpochMilli(expire), ZoneId.systemDefault()).format(F));
    }
    public String getOrderId() {
      return orderId;
    }
    public long getTimestamp() {
      return timestamp;
    }
    public long getExpire() {
      return expire;
    }
    public String getDescription() {
      return description;
    }
    @Override
    public long getDelay(TimeUnit unit) {
      return unit.convert(this.expire - System.currentTimeMillis(), TimeUnit.MILLISECONDS);
    }
    @Override
    public int compareTo(Delayed o) {
      return (int) (this.getDelay(TimeUnit.MILLISECONDS) - o.getDelay(TimeUnit.MILLISECONDS));
    }
  }
}
您可能感兴趣的文档:

--结束END--

本文标题: 使用Redis实现延时任务的解决方案

本文链接: https://www.lsjlt.com/news/51227.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用Redis实现延时任务的解决方案
    最近在生产环境刚好遇到了延时任务的场景,调研了一下目前主流的方案,分析了一下优劣并且敲定了最终的方案。这篇文章记录了调研的过程,以及初步方案的实现。 候选方案对比 下面是想到的几种实现延时任务的方案,总结了...
    99+
    2022-10-18
  • Java处理延时任务的常用几种解决方案
    目录前言数据库轮询原理优缺点Java延迟队列Reids监听失效key创建监听类,实现MessageListener接口RocketMq延迟消息总结前言 项目中经常会遇到如下的需求: ...
    99+
    2022-11-13
  • Java处理延时任务的解决方案有哪些
    本篇内容介绍了“Java处理延时任务的解决方案有哪些”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!数据库轮询原理通过一个线程定时的扫描数据库...
    99+
    2023-06-30
  • 延时任务的四种实现方式
    什么是延迟任务? 顾明思议,我们把需要延迟执行的任务叫做延迟任务。 延迟任务的使用场景有以下这些: 红包 24 小时未被查收,需要延迟执退还业务; 每个月账单日,需要给用户发送当月的对账单; 订单下单之后 30 分钟后,用户如果没...
    99+
    2023-10-04
    java Powered by 金山文档
  • 一文详解golang延时任务的实现
    目录前言你可以收获正文思维导图实现思路步步为营1、数据流2、数据结构3、初始化延时任务对象4、生产者推送任务5、任务推送信号的处理6、生产者删除任务7、任务删除信号的处理8、任务执行...
    99+
    2023-03-20
    golang延时任务 go 延时
  • 基于Redis实现延时队列的优化方案小结
    目录一、延时队列的应用二、延时队列的实现三、总结一、延时队列的应用 近期在开发部门的新项目,其中有个关键功能就是智能推送,即根据用户行为在特定的时间点向用户推送相应的提醒消息,比如以下业务场景: 在用户点击充值项后,半小...
    99+
    2022-07-05
    Redis延时队列 Redis延时队列优化
  • php如何实现定时任务,php定时任务方法,最佳解决方案,php自动任务处理
    定时任务对于php来说一直都是很多朋友的一个难题,但却很多地方都遇到了。 比如说: 游戏开发程序中,每隔10分钟给玩家发兵一次 sns社区中每隔20秒检测一下是否有人给我发消息 自动采集程序,每隔5分钟采集一次最新内容 微博数据同步,每隔1...
    99+
    2023-09-04
    php 服务器 开发语言
  • Python实现定时任务的八种方案详解
    目录利用while True: + sleep()实现定时任务使用Timeloop库运行定时任务利用threading.Timer实现定时任务利用内置模块sched实现定时任务利用调...
    99+
    2022-11-13
  • Python 4种实现定时任务的方案
    目录1.利用 while True: + sleep() 实现定时任务2.使用 Timeloop 库运行定时任务3.利用 threading.Timer 实现定时任务4.利用内置模块...
    99+
    2022-11-12
  • redis实现分布式session的解决方案
    目录一、首先Session二、分布式Session补充:一、首先Session Session 是客户端与服务器通讯会话技术, 比如浏览器登陆、记录整个浏览会话信息。session存...
    99+
    2022-11-13
  • PHP中使用Redis实现限时任务处理
    随着互联网和移动互联网的发展,越来越多的应用需要进行后台任务处理。这些任务可能包括发送电子邮件、统计数据、生成报告等。在PHP中,通常使用CRON定时任务或者队列任务来实现后台任务处理。但是,在某些情况下,可能需要对任务进行限时处理,以避免...
    99+
    2023-05-16
    PHP redis 限时任务处理
  • @Scheduled注解不能同时执行多个定时任务的解决方案
    目录@Scheduled注解不能同时执行多个定时任务@Scheduled同时执行多个定时任务所导致的并发问题@Scheduled的执行顺序@Scheduled同步控制定时任务的执行顺...
    99+
    2022-11-13
  • Golang 实现Redis 协议解析器的解决方案
    本文是 《用 Golang 实现一个 Redis》系列文章第二篇,本文将分别介绍Redis 通信协议 以及 协议解析器 的实现,若您对协议有所了解可以直接阅读协议解析器部分。 Red...
    99+
    2022-11-11
  • Golang 实现Redis 协议解析器的解决方案
    本文是 《用 golang 实现一个 Redis》系列文章第二篇,本文将分别介绍Redis 通信协议 以及 协议解析器 的实现,若您对协议有所了解可以直接阅读协议解析器部分。 Redis 通信协议 Redis 自 2.0...
    99+
    2022-10-25
  • PHP中使用Redis实现分布式定时任务
    Redis是一种高性能的内存数据库,它具有快速的读写速度、支持一定级别的持久性和丰富的数据类型等优点。Redis常被用于缓存、消息队列、实时排行榜等场景。在开发中,我们有时会需要实现分布式的定时任务,比如:发送邮件、清理临时文件、更新缓存等...
    99+
    2023-05-15
    分布式 PHP redis
  • 使用Redis实现UA池的方案
    最近忙于业务开发、交接和游戏,加上碰上了不定时出现的犹豫期和困惑期,荒废学业了一段时间。天冷了,要重新拾起开始下阶段的学习了。之前接触到的一些数据搜索项目,涉及到请求模拟,基于反爬需要使用随机的 User ...
    99+
    2022-10-18
  • Java实现定时任务的方法详解
    目录前言定时任务是什么定时任务的有哪些是实现方式纯手写单线程循环Timer 和它的小伙伴ScheduledExecutorServiceSpring 提供的定时任务总结前言 学过定时...
    99+
    2022-11-13
    Java实现定时任务 Java定时任务
  • PHP使用Redis队列执行定时任务实例讲解
    Redis类: <?php namespace Utils; use Phalcon\Config\Adapter\Ini as ConfigIni; ...
    99+
    2022-11-11
  • Golang实现CronJob(定时任务)的方法详解
    目录引言类库介绍扩展性强主流程类库改造打印任务列表信息根据名称移除脚本改造效果引言 最近做了一个需求,是定时任务相关的。以前定时任务都是通过 linux crontab 去实现的,现...
    99+
    2023-05-14
    Golang实现定时任务 Golang定时任务 Golang CronJob
  • Spring Boot使用Schedule实现定时任务的方法
    目录0. 开发环境1. 简单定时任务1.1 @Scheduled(cron = “0/10 * * * * ”)1.2 @Scheduled(fixedRat...
    99+
    2023-03-22
    Spring Boot Schedule定时任务 Spring Boot 定时任务
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作