广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Java实现FIFO任务调度队列策略
  • 325
分享到

Java实现FIFO任务调度队列策略

2024-04-02 19:04:59 325人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

目录前言FIFO任务调度器架构示例代码前言 在工作中,很多高并发的场景中,我们会用到队列来实现大量的任务请求。当任务需要某些特殊资源的时候,我们还需要合理的分配资源,让队列中的任务高

前言

在工作中,很多高并发的场景中,我们会用到队列来实现大量的任务请求。当任务需要某些特殊资源的时候,我们还需要合理的分配资源,让队列中的任务高效且有序完成任务。熟悉分布式的话,应该了解yarn的任务调度算法。本文主要用java实现一个FIFO(先进先出调度器),这也是常见的一种调度方式。

FIFO任务调度器架构

主要实现的逻辑可以归纳为:

1、任务队列主要是单队列,所有任务按照顺序进入队列后,也会按照顺序执行。

2、如果任务无法获得资源,则将任务塞回队列原位置。

示例代码

Maven依赖如下:


      	<dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>
                <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.5.2</version>
        </dependency>

具体的原理就不细说了,通过代码我们看看FIFO任务调度策略是什么玩的吧。下面的代码也可以作为参考。我们会使用到一个双向阻塞队列LinkedBlockingDeque。后面的代码说明会提到。


package ai.guiji.csdn.dispatch;

import cn.hutool.core.thread.ThreadUtil;
import lombok.Builder;
import lombok.Data;
import lombok.extern.slf4j.Slf4j;
import org.springframework.scheduling.concurrent.CustomizableThreadFactory;

import java.util.Random;
import java.util.concurrent.*;
import java.util.concurrent.atomic.AtomicInteger;
import java.util.stream.IntStream;


@Slf4j
public class FIFODemo {
  private static final LinkedBlockingDeque<Task> TASK_QUEUE = new LinkedBlockingDeque<>();
  private static final ConcurrentHashMap<Integer, LinkedBlockingQueue<Resource>> RESOURCE_MAP =
      new ConcurrentHashMap<>();
  private static final ExecutorService TASK_POOL =
      new ThreadPoolExecutor(
          8,
          16,
          0L,
          TimeUnit.MILLISECONDS,
          new LinkedBlockingQueue<>(),
          new CustomizableThreadFactory("TASK-THREAD-"),
          new ThreadPoolExecutor.AbortPolicy());
  private static final ScheduledExecutorService ENGINE_POOL =
      Executors.newSingleThreadScheduledExecutor(new CustomizableThreadFactory("ENGINE-"));
  private static final AtomicInteger CODE_BUILDER = new AtomicInteger(0);

  @Data
  @Builder
  private static class Resource {
    private Integer rId;
    private Type type;
  }

  @Data
  @Builder
  private static class Task implements Runnable {
    private Integer tId;
    private Runnable work;
    private Type type;
    private Resource resource;

    @Override
    public void run() {
      log.info("[{}]任务,使用资源编号:[{}]", tId, resource.getRId());
      try {
        work.run();
      } catch (Exception exception) {
        exception.printStackTrace();
      } finally {
        log.info("[{}]任务结束,回归资源", tId);
        returnResource(resource);
      }
    }
  }

  private enum Type {
    
    A("A资源", 1),
    B("B资源", 2),
    C("C资源", 3);

    private final String desc;
    private final Integer code;

    Type(String desc, Integer code) {
      this.desc = desc;
      this.code = code;
    }

    public String getDesc() {
      return desc;
    }

    public Integer getCode() {
      return code;
    }
  }

  public static void initResource() {
    Random random = new Random();
    int aCount = random.nextInt(10) + 1;
    int bCount = random.nextInt(10) + 1;
    int cCount = random.nextInt(10) + 1;
    RESOURCE_MAP.put(Type.A.getCode(), new LinkedBlockingQueue<>());
    RESOURCE_MAP.put(Type.B.getCode(), new LinkedBlockingQueue<>());
    RESOURCE_MAP.put(Type.C.getCode(), new LinkedBlockingQueue<>());
    IntStream.rangeClosed(1, aCount)
        .forEach(
            a ->
                RESOURCE_MAP
                    .get(Type.A.getCode())
                    .add(Resource.builder().rId(a).type(Type.A).build()));
    IntStream.rangeClosed(1, bCount)
        .forEach(
            a ->
                RESOURCE_MAP
                    .get(Type.B.getCode())
                    .add(Resource.builder().rId(a).type(Type.B).build()));
    IntStream.rangeClosed(1, cCount)
        .forEach(
            a ->
                RESOURCE_MAP
                    .get(Type.C.getCode())
                    .add(Resource.builder().rId(a).type(Type.C).build()));
    log.info("初始化资源A数量:{},资源B数量:{},资源C数量:{}", aCount, bCount, cCount);
  }

  public static Resource extractResource(Type type) {
    return RESOURCE_MAP.get(type.getCode()).poll();
  }

  public static void returnResource(Resource resource) {
    log.info("开始归还资源,rId:{},资源类型:{}", resource.getRId(), resource.getType().getDesc());
    RESOURCE_MAP.get(resource.getType().code).add(resource);
    log.info("归还资源完成,rId:{},资源类型:{}", resource.getRId(), resource.getType().getDesc());
  }

  public static void enginDo() {
    ENGINE_POOL.scheduleAtFixedRate(
        () -> {
          Task task = TASK_QUEUE.poll();
          if (task == null) {
            log.info("任务队列为空,无需要执行的任务");
          } else {
            Resource resource = extractResource(task.getType());
            if (resource == null) {
              log.info("[{}]任务无法获取[{}],返回队列", task.getTId(), task.getType().getDesc());
              TASK_QUEUE.addFirst(task);
            } else {
              task.setResource(resource);
              TASK_POOL.submit(task);
            }
          }
        },
        0,
        1,
        TimeUnit.SECONDS);
  }

  public static void addTask(Runnable runnable, Type type) {
    Integer tId = CODE_BUILDER.incrementAndGet();
    Task task = Task.builder().tId(tId).type(type).work(runnable).build();
    log.info("提交任务[{}]到任务队列", tId);
    TASK_QUEUE.add(task);
  }

  public static void main(String[] args) {
    initResource();
    enginDo();
    Random random = new Random();
    ThreadUtil.sleep(5000);
    IntStream.range(0, 10)
        .forEach(
            a -> addTask(() -> ThreadUtil.sleep(random.nextInt(10) + 1, TimeUnit.SECONDS), Type.A));
    IntStream.range(0, 10)
        .forEach(
            a -> addTask(() -> ThreadUtil.sleep(random.nextInt(10) + 1, TimeUnit.SECONDS), Type.B));
    IntStream.range(0, 10)
        .forEach(
            a -> addTask(() -> ThreadUtil.sleep(random.nextInt(10) + 1, TimeUnit.SECONDS), Type.C));
  }
}

代码说明:

1、首先我们构造了任务队列,使用的是LinkedBlockingDeque,使用双向队列的原因是如果任务无法获取资源,还需要塞到队首,保证任务的有序性。

2、使用ConcurrentHashMap作为资源映射表,为了保证资源队列使用的均衡性,一旦使用完成的资源会塞到对应资源的队尾处。

3、其中实现了添加任务、提取资源、回归资源几个方法。

4、initResource方法可以初始化资源队列,这里面只是简单的随机了几个资源到A、B、C三种资源,塞入各类别队列。

5、任务私有类有自己的任务标识以及执行完后调用回归资源方法。

6、main方法中会分别提交需要3中资源的10个任务,看看调度情况。

执行结果

我们可以通过结果发现任务有序调度,使用完任务后回归队列。 

以上就是Java实现FIFO任务调度队列策略的详细内容,更多关于Java FIFO任务调度的资料请关注编程网其它相关文章!

--结束END--

本文标题: Java实现FIFO任务调度队列策略

本文链接: https://www.lsjlt.com/news/160918.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Java实现FIFO任务调度队列策略
    目录前言FIFO任务调度器架构示例代码前言 在工作中,很多高并发的场景中,我们会用到队列来实现大量的任务请求。当任务需要某些特殊资源的时候,我们还需要合理的分配资源,让队列中的任务高...
    99+
    2022-11-12
  • Laravel怎么实现队列和任务调度
    本文小编为大家详细介绍“Laravel怎么实现队列和任务调度”,内容详细,步骤清晰,细节处理妥当,希望这篇“Laravel怎么实现队列和任务调度”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。一、 我们首先准备一下...
    99+
    2023-07-04
  • laravel6中怎么实现队列与任务调度
    本篇文章为大家展示了laravel6中怎么实现队列与任务调度,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。(一)队列实现在laravel中,队列的实现我们只需要通过操作,就能实现,在实现的前提,我们...
    99+
    2023-06-20
  • 如何解决Go语言中的并发任务的分布式任务队列和任务调度策略问题?
    如何解决Go语言中的并发任务的分布式任务队列和任务调度策略问题?引言:在分布式系统中,任务的分发和调度是一个关键问题。在Go语言中,通过使用并发技术可以有效地管理和执行任务。本文将介绍如何使用分布式任务队列和任务调度策略来解决Go语言中的并...
    99+
    2023-10-22
    任务调度 分布式任务队列 并发任务
  • 队列在PHP与MySQL中的任务监控和任务调度的实现方案
    引言在现代的Web应用程序开发中,任务队列是非常重要的一项技术。通过队列,我们可以将一些需要在后台执行的任务排队,并通过任务调度来控制任务的执行时间和顺序。本文将介绍如何在PHP与MySQL中实现任务的监控和调度,并提供具体的代码示例。一、...
    99+
    2023-10-21
    MySQL PHP 队列
  • java任务调度quartz怎么实现
    使用Quartz实现Java任务调度的步骤如下:1. 导入Quartz库:在项目的依赖管理中,添加Quartz库的Maven或Gra...
    99+
    2023-09-18
    quartz java
  • java分布式任务调度怎么实现
    实现Java分布式任务调度可以使用以下方法:1. 使用Quartz:Quartz是一个功能强大的开源任务调度框架,可以在Java应用...
    99+
    2023-10-23
    java
  • Java中如何实现消息队列任务的平滑关闭
    这篇文章主要介绍Java中如何实现消息队列任务的平滑关闭,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!前言消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩...
    99+
    2023-05-30
    java
  • laravel 进阶系列 —— 定时任务调度在 Laravel 中的实现
    简介 Cron 是 UNIX、SOLARIS、LINUX 下的一个十分有用的工具,通过 Cron 脚本能使计划任务定期地在系统后台自动运行。这种计划任务在 UNIX、SOLARIS、LINUX下术语为 Cron Jobs。Crontab ...
    99+
    2023-09-22
    laravel php
  • 队列在PHP与MySQL中的消息分发和任务调度的设计思路和实现方案
    一、引言随着互联网应用规模的不断扩大和用户需求的日益增长,系统的并发处理和任务调度能力成为一个重要的考量因素。而队列是一种常用的解决方案,能够有效地进行消息分发和任务调度。本文将介绍在PHP与MySQL中如何设计和实现队列的消息分发和任务调...
    99+
    2023-10-21
  • Golang中使用RabbitMQ实现分布式任务队列的性能调优技巧
    在Golang中使用RabbitMQ实现分布式任务队列时,可以采取以下性能调优技巧:1. 使用持久化队列和消息:通过将队列和消息标记...
    99+
    2023-10-10
    Golang
  • 怎么深入Java Timer 定时任务调度器实现原理
    这篇文章将为大家详细讲解有关怎么深入Java Timer 定时任务调度器实现原理,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。使用 Java 来调度定时任务时,我们经常会使用 Timer 类...
    99+
    2023-06-02
  • 如何在Python中实现一个分布式计算框架,以及任务调度和结果收集的机制和策略
    标题:Python中的分布式计算框架实现及任务调度与结果收集机制摘要:分布式计算是一个有效利用多台计算机资源来加速任务处理的方法。本文将介绍如何使用Python实现一个简单的分布式计算框架,包括任务调度和结果收集的机制与策略,并提供相关代码...
    99+
    2023-10-22
    分布式计算 任务调度 结果收集
  • Java中怎么利用Redis 实现一个分布式任务调度器
    Java中怎么利用Redis 实现一个分布式任务调度器,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。代码实例在深入讲解实现方法之前,我们先...
    99+
    2022-10-18
  • 分布式系统中如何利用Java关键字和API实现分布式任务调度和监控?
    随着互联网的快速发展,分布式系统的应用越来越广泛,而分布式任务调度和监控是分布式系统中的重要组成部分。Java作为一种高级编程语言,提供了丰富的API和关键字,可以帮助我们更好地实现分布式任务调度和监控。 本文将介绍Java关键字和API...
    99+
    2023-10-23
    关键字 分布式 api
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作