iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >ThreadPoolExecutor参数的用法及说明
  • 501
分享到

ThreadPoolExecutor参数的用法及说明

Python 官方文档:入门教程 => 点击学习

摘要

目录ThreadPoolExecutor参数说明一、ThreadPoolExecutor核心参数说明二、ThreadPoolExecutor执行顺序三、ThreadPoolExecu

ThreadPoolExecutor参数说明

一、ThreadPoolExecutor核心参数说明

1、corePoolSize:核心线程数

* 核心线程会一直存活,及时没有任务需要执行

* 当线程数小于核心线程数时,即使有线程空闲,线程池也会优先创建新线程处理

* 设置allowCoreThreadTimeout=true(默认false)时,核心线程会超时关闭

2、queueCapacity:任务队列容量(阻塞队列)

* 当核心线程数达到最大时,新任务会放在队列中排队等待执行

3、maxPoolSize:最大线程数

* 当线程数>=corePoolSize,且任务队列已满时。线程池会创建新线程来处理任务

* 当线程数=maxPoolSize,且任务队列已满时,线程池会拒绝处理任务而抛出异常

4、 keepAliveTime:线程空闲时间

* 当线程空闲时间达到keepAliveTime时,线程会退出,直到线程数量=corePoolSize

* 如果allowCoreThreadTimeout=true,则会直到线程数量=0

5、allowCoreThreadTimeout:允许核心线程超时

6、rejectedExecutionHandler:任务拒绝处理器

* 两种情况会拒绝处理任务:

  • - 当线程数已经达到maxPoolSize,切队列已满,会拒绝新任务
  • - 当线程池被调用shutdown()后,会等待线程池里的任务执行完毕,再shutdown。如果在调用shutdown()和线程池真正shutdown之间提交任务,会拒绝新任务

* 线程池会调用rejectedExecutionHandler来处理这个任务。如果没有设置默认是AbortPolicy,会抛出异常

* ThreadPoolExecutor类有几个内部实现类来处理这类情况:

  • - AbortPolicy 丢弃任务,抛运行时异常
  • - CallerRunsPolicy 执行任务
  • - DiscardPolicy 忽视,什么都不会发生
  • - DiscardOldestPolicy 从队列中踢出最先进入队列(最后一个执行)的任务

* 实现RejectedExecutionHandler接口,可自定义处理器

二、ThreadPoolExecutor执行顺序

线程池按以下行为执行任务

1. 当线程数小于核心线程数时,创建线程。

2. 当线程数大于等于核心线程数,且任务队列未满时,将任务放入任务队列。

3. 当线程数大于等于核心线程数,且任务队列已满

  • -1 若线程数小于最大线程数,创建线程
  • -2 若线程数等于最大线程数,抛出异常,拒绝任务

三、ThreadPoolExecutor如何设置参数

1、默认值

* corePoolSize=1 * queueCapacity=Integer.MAX_VALUE * maxPoolSize=Integer.MAX_VALUE * keepAliveTime=60s * allowCoreThreadTimeout=false * rejectedExecutionHandler=AbortPolicy()

2、如何来设置

* 需要根据几个值来决定

  • - tasks :每秒的任务数,假设为1000
  • - taskcost:每个任务花费时间,假设为0.1s
  • - responsetime:系统允许容忍的最大响应时间,假设为1s

* 做几个计算

- corePoolSize = 每秒需要多少个线程处理?

* 一颗CPU核心同一时刻只能执行一个线程,然后操作系统切换上下文,核心开始执行另一个线程的代码,以此类推,超过cpu核心数,就会放入队列,如果队列也满了,就另起一个新的线程执行,所有推荐:corePoolSize = ((cpu核心数 * 2) + 有效磁盘数),java可以使用Runtime.getRuntime().availableProcessors()获取cpu核心数

- queueCapacity = (coreSizePool/taskcost)*responsetime

* 计算可得 queueCapacity = corePoolSize/0.1*1。意思是队列里的线程可以等待1s,超过了的需要新开线程来执行

* 切记不能设置为Integer.MAX_VALUE,这样队列会很大,线程数只会保持在corePoolSize大小,当任务陡增时,不能新开线程来执行,响应时间会随之陡增。

- maxPoolSize = (max(tasks)- queueCapacity)/(1/taskcost)

* 计算可得 maxPoolSize = (1000-corePoolSize)/10,即(每秒并发数-corePoolSize大小) / 10

* (最大任务数-队列容量)/每个线程每秒处理能力 = 最大线程数

  • - rejectedExecutionHandler:根据具体情况来决定,任务不重要可丢弃,任务重要则要利用一些缓冲机制来处理
  • - keepAliveTime和allowCoreThreadTimeout采用默认通常能满足

ThreadPoolExecutor参数allowCoreThreadTimeOut

ThreadPoolExecutor的执行流程有一点可能被吐槽过,就是只有缓存队列已经满了的时候才会使用到maxPoolSize创建新的线程.也就是说如果corePoolSize设为0的时候,要等到队列满了,才会创建线程去执行任务

之前有被问到,希望没有任务的时候线程池里的线程可以停掉。可能对性能和资源有过考虑的人都会想到这个问题吧

今天看jdk源码的时候发现了ThreadPoolExecutor在1.6的时候已经支持了

allowCoreThreadTimeOut参数就是为此设计的

    
    public void allowCoreThreadTimeOut(boolean value) {
        if (value && keepAliveTime <= 0)
            throw new IllegalArgumentException("Core threads must have nonzero keep alive times");
        if (value != allowCoreThreadTimeOut) {
            allowCoreThreadTimeOut = value;
            if (value)
                interruptIdleWorkers();
        }
    }

在ThreadPoolExecutor构造函数的注释上也有明确说明:corePoolSize 的数量会一直保持,即使这些线程是空闲的,除非设置了allowCoreThreadTimeOut


    public ThreadPoolExecutor(int corePoolSize,
                              int maximumPoolSize,
                              long keepAliveTime,
                              TimeUnit unit,
                              BlockingQueue<Runnable> workQueue) {
        this(corePoolSize, maximumPoolSize, keepAliveTime, unit, workQueue,
             Executors.defaultThreadFactory(), defaultHandler);
    }

当然,在Executors的静态工厂里面的newCachedThreadPool提供了另外一种思路

coreSize为0
SynchronousQueue最多只能有一个任务在队列里面

也就是说这个线程池的任务会被立即分配一个线程去处理,如果没有空闲的线程会立即创建线程。

在空闲的时候,线程数量会减少直至为0,这一点倒是满足了要求。可是队列中最多只会缓存一个任务,当任务的处理速度慢于任务进入线程池的速度时,线程数量就会不断膨胀。如果maxPoolSize设置成一个比较小的数字时,可能就会有大量任务被拒绝策略处理。

所以正如注释中所说,newCachedThreadPool只适合于任务处理速度很快的场景下。比如做一些计算,不需要依赖其它服务


    public static ExecutorService newCachedThreadPool() {
        return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
                                      60L, TimeUnit.SECONDS,
                                      new SynchronousQueue<Runnable>());

总结

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。

--结束END--

本文标题: ThreadPoolExecutor参数的用法及说明

本文链接: https://www.lsjlt.com/news/199780.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作