iis服务器助手广告广告

扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >用 Python 实现的线程池
  • 560

0
分享到

用 Python 实现的线程池

线程Python 2023-01-31 01:01:26 560人浏览 八月长安

Python 官方文档：入门教程 => 点击学习

摘要

为了提高程序的效率，经常要用到多线程，尤其是io等需要等待外部响应的部分。线程的创建、销毁和调度本身是有代价的，如果一个线程的任务相对简单，那这些时间和空间开销就不容忽视了，此时用线程池就是更好的选择，即创建一些线程然后反复利用它们，而不

为了提高程序的效率，经常要用到多线程，尤其是io等需要等待外部响应的部分。线程的创建、销毁和调度本身是有代价的，如果一个线程的任务相对简单，那这些时间和空间开销就不容忽视了，此时用线程池就是更好的选择，即创建一些线程然后反复利用它们，而不是在完成单个任务后就结束。

下面是用python实现的通用的线程池代码：

view plainprint?
  1. import Queue, threading, sys  
  2. from threading import Thread  
  3. import time,urllib  
  4.   
  5. # working thread  
  6. class Worker(Thread):  
  7.     worker_count = 0  
  8.     def __init__( self, workQueue, resultQueue, timeout = 0, **kwds):  
  9.         Thread.__init__( self, **kwds )  
  10.         self.id = Worker.worker_count  
  11.         Worker.worker_count += 1  
  12.         self.setDaemon( True )  
  13.         self.workQueue = workQueue  
  14.         self.resultQueue = resultQueue  
  15.         self.timeout = timeout  
  16.   
  17.     def run( self ):  
  18.         ''' the get-some-work, do-some-work main loop of worker threads '''  
  19.         while True:  
  20.             try:  
  21.                 callable, args, kwds = self.workQueue.get(timeout=self.timeout)  
  22.                 res = callable(*args, **kwds)  
  23.                 print "worker[%2d]: %s" % (self.id, str(res) )  
  24.                 self.resultQueue.put( res )  
  25.             except Queue.Empty:  
  26.                 break  
  27.             except :  
  28.                 print 'worker[%2d]' % self.id, sys.exc_info()[:2]  
  29.                   
  30. class WorkerManager:  
  31.     def __init__( self, num_of_workers=10, timeout = 1):  
  32.         self.workQueue = Queue.Queue()  
  33.         self.resultQueue = Queue.Queue()  
  34.         self.workers = []  
  35.         self.timeout = timeout  
  36.         self._recruitThreads( num_of_workers )  
  37.   
  38.     def _recruitThreads( self, num_of_workers ):  
  39.         for i in range( num_of_workers ):  
  40.             worker = Worker( self.workQueue, self.resultQueue, self.timeout )  
  41.             self.workers.append(worker)  
  42.   
  43.     def start(self):  
  44.         for w in self.workers:  
  45.             w.start()  
  46.   
  47.     def wait_for_complete( self):  
  48.         # ...then, wait for each of them to terminate:  
  49.         while len(self.workers):  
  50.             worker = self.workers.pop()  
  51.             worker.join( )  
  52.             if worker.isAlive() and not self.workQueue.empty():  
  53.                 self.workers.append( worker )  
  54.         print "All jobs are are completed."  
  55.   
  56.     def add_job( self, callable, *args, **kwds ):  
  57.         self.workQueue.put( (callable, args, kwds) )  
  58.   
  59.     def get_result( self, *args, **kwds ):  
  60.         return self.resultQueue.get( *args, **kwds )  

Worker类是一个工作线程，不断地从workQueue队列中获取需要执行的任务，执行之，并将结果写入到resultQueue中，这里的workQueue和resultQueue都是现成安全的，其内部对各个线程的操作做了互斥。当从workQueue中获取任务超时，则线程结束。

WorkerManager负责初始化Worker线程，提供将任务加入队列和获取结果的接口，并能等待所有任务完成。

一个典型的测试例子如下，它用10个线程去下载一个固定页面的内容，实际应用时应该是执行不同的任务。

view plainprint?
  1. def test_job(id, sleep = 0.001 ):  
  2.     try:  
  3.         urllib.urlopen('https://www.gmail.com/').read()  
  4.     except:  
  5.         print '[%4d]' % id, sys.exc_info()[:2]  
  6.     return  id  
  7.   
  8. def test():  
  9.     import Socket  
  10.     socket.setdefaulttimeout(10)  
  11.     print 'start testing'  
  12.     wm = WorkerManager(10)  
  13.     for i in range(500):  
  14.         wm.add_job( test_job, i, i*0.001 )  
  15.     wm.start()  
  16.     wm.wait_for_complete()  
  17.     print 'end testing' 

您可能感兴趣的文档:
点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: 用 Python 实现的线程池

本文链接: https://www.lsjlt.com/news/183490.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档
去做题
猜你喜欢
  • 用 Python 实现的线程池
    为了提高程序的效率，经常要用到多线程，尤其是IO等需要等待外部响应的部分。线程的创建、销毁和调度本身是有代价的，如果一个线程的任务相对简单，那这些时间和空间开销就不容忽视了，此时用线程池就是更好的选择，即创建一些线程然后反复利用它们，而不...
    99+
    2023-01-31
    线程 Python
  • python实现线程池
    什么是线程池？     诸如web服务器、数据库服务器、文件服务器和邮件服务器等许多服务器应用都面向处理来自某些远程来源的大量短小的任务。构建服务器应用程序的一个过于简单的模型是：每当一个请求到达就创建一个新的服务对象，然后在新的服务对象中...
    99+
    2023-01-31
    线程 python
  • Python线程池的实现浅析
    目录一、序言二、正文1、Future 对象2、提交函数自动创建 Future 对象3、future.set_result 到底干了什么事情4、提交多个函数5、使用 map 来提交多个...
    99+
    2024-04-02
  • 用Python实现一个简单的线程池
    线程池的概念是什么？在面向对象编程中，创建和销毁对象是很费时间的，因为创建一个对象要获取内存资源或者其它更多资源。在Java中更是 如此，虚拟机将试图跟踪每一个对象，以便能够在对象销毁后进行垃圾回收。所以提高服务程序效率的一个手段就是尽可能...
    99+
    2023-01-31
    线程 简单 Python
  • GOworkPool的线程池实现
    Go语言中的线程池是一种用于管理并发执行任务的设计模式。 线程池的主要目的是减少创建和销毁线程的开销，提高系统性能。 在Go语言中，线程池通常使用goroutine和channel来...
    99+
    2023-03-24
    GO workPool线程池 GO workPool
  • jdk线程池的实现
    jdk线程池ThreadPoolExecutor的7个参数 public ThreadPoolExecutor(int corePoolSize, ...
    99+
    2023-05-14
    jdk线程池
  • Python实现线程池之线程安全队列
    目录一、线程池组成二、线程安全队列的实现三、测试逻辑3.1、测试阻塞逻辑3.2、测试读写加锁逻辑本文实例为大家分享了Python实现线程池之线程安全队列的具体代码，供大家参考，具体内...
    99+
    2024-04-02
  • SpringBoot实现线程池
    现在由于系统越来越复杂，导致很多接口速度变慢，这时候就会想到可以利用线程池来处理一些耗时并不影响系统的操作。 新建Spring Boot项目 1. ExecutorConfig....
    99+
    2024-04-02
  • SpringBoot线程池和Java线程池的使用和实现原理解析
    目录SpringBoot线程池和Java线程池的用法和实现原理使用默认的线程池方式一：通过@Async注解调用方式二：直接注入 ThreadPoolTaskExecutor...
    99+
    2023-05-15
    SpringBoot线程池和Java线程池用法 SpringBoot线程池
  • 如何用Python实现线程池模型效果
    今天就跟大家聊聊有关如何用Python实现线程池模型效果，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。本文提供给大家的是用python代码实现一个简单的线程效果源码案例。Python...
    99+
    2023-06-02
  • Java线程池的实现方法
    本篇内容主要讲解“Java线程池的实现方法”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“Java线程池的实现方法”吧!以前做的东西，实现一个简单的多线程机制，开始之前，现说说原理性的东西吧，下面...
    99+
    2023-06-17
  • 关于python线程池的四种实现方式
    目录python 线程池的四种实现方式线程简述方式1 multiprocessing.dummy Pool()方式2：multiprocessing.pool ThreadPool ...
    99+
    2023-05-16
    python线程池 python线程池实现
  • Springboot自带线程池的实现
    目录一: ThreadPoolTaskExecuto二: ThreadPoolTaskScheduler 三 @Scheduled实现定时任务,注解开启定时任务四:Spri...
    99+
    2023-05-20
    Springboot自带线程池 Springboot自带线程池
  • 实现java简单的线程池
    目录拆分实现流程实现方式1.拒绝策略2.阻塞队列3.线程池和工作线程策略模式对比JDK的线程池线程池的状态转化总结拆分实现流程 请看下面这张图 首先我们得对线程池进行一个功能拆分 ...
    99+
    2024-04-02
  • 线程池之newFixedThreadPool定长线程池的实例
    newFixedThreadPool定长线程池的实例 newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。newFixedThr...
    99+
    2024-04-02
  • Python中的进程池和线程池的适用场景和实现原理是什么？
    Python中的进程池和线程池的适用场景和实现原理是什么？引言：在编写程序时，为了提高执行效率，经常会使用并发编程来同时执行多个任务。Python提供了进程池和线程池这两种用于并发处理任务的工具。本文将详细介绍进程池和线程池的适用场景和实现...
    99+
    2023-10-22
    线程池 实现原理 进程池 适用场景
  • python 线程池threadpool
    最近在做一个视频设备管理的项目，设备包括（摄像机，DVR,NVR等），包括设备信息补全，设备状态推送，设备流地址推送等，如果同时导入的设备数量较多，如果使用单线程进行设备检测，那么由于设备数量较多，会带来较大的延时，因此考虑多线程处理此问...
    99+
    2023-01-31
    线程 python threadpool
  • python线程池（threadpool
    最近碰到个问题，需要telnet登录上千台机器去取主机名；其中有用户名密码交互部分，有需要延迟的部分，大概一次登录一次到处理完要10s，1000台机器串行处理就需要1000×10s，差不多三个小时，这是很难受的事情； 之前用thread的...
    99+
    2023-01-31
    线程 python threadpool
  • Java简单实现线程池
    本文实例为大家分享了Java简单实现线程池的具体代码，供大家参考，具体内容如下 一、线程池 线程池是一种缓冲提高效率的技术。 相当于一个池子，里面存放大量已经创建好的线程，当有一个任...
    99+
    2024-04-02
  • C++线程池实现代码
    前言 这段时间看了《C++并发编程实战》的基础内容，想着利用最近学的知识自己实现一个简单的线程池。 什么是线程池 线程池（thread pool）是一种线程使用模式。线程过多或者频繁...
    99+
    2024-04-02
软考高级职称资格查询
iis服务器助手广告
软考职称历年真题下载
软考职称资料下载
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作