iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python协程--asyncio模块(
  • 704
分享到

python协程--asyncio模块(

模块python协程 2023-01-30 23:01:04 704人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

在高并发的场景下,python提供了一个多线程的模块threading,但似乎这个模块并不近人如意,原因在于cPython本身的全局解析锁(GIL)问题,在一段时间片内实际上的执行是单线程的。同时还存在着资源争夺的问题。python3.4

高并发的场景下,python提供了一个多线程的模块threading,但似乎这个模块并不近人如意,原因在于cPython本身的全局解析(GIL)问题,在一段时间片内实际上的执行是单线程的。同时还存在着资源争夺的问题。python3.4之后引入了基于生成器对象的协程概念。也就是asyncio模块。除了asyncio模块,python在高并发这一问题还提出了另外一些解决方案,例如tornado和gevent都实现了类似的功能。由此,在方案选择上提供了更多的可能性。以下是threading模块和asyncio模块对比测试实验。asyncio模块的具体使用,我希望自己在另一篇文章再写。

 

一、threading模块

threading模块中的thread线程 密集 运算争夺变量测试

代码:

#多线程共有数据的争夺检测
from threading import Thread,currentThread
import time
def do_something(x):
    global a
    time.sleep(x)
    for b in range(1,51):   #计算从1+...+50
        a+=b
    print(currentThread(),":",a)

a = 0
threads = []

for i  in  range(1,20000):                        #为了突出效果,线程量开到接近20000
   thread = Thread(target=do_something,args=(1,))
   threads.append(thread)

for thread in threads:
    thread.start()

 

截取部分结果:
<Thread(Thread-19972, started 34476)> : 25408200
<Thread(Thread-19971, started 34548)> : 25409475
<Thread(Thread-19991, started 12644)> : 25410750
<Thread(Thread-19990, started 34580)> : 25412025
<Thread(Thread-19989, started 34404)> : 25413300
<Thread(Thread-19986, started 34044)> : 25414575
<Thread(Thread-19983, started 34648)> : 25415850
<Thread(Thread-19982, started 34128)> : 25417125

运行时间: 6.9629926681518555 6.8796374797821045 7.3379065990448 平均运行时间:7.0秒

 

由结果可以看出,多线程在密集型运算的(占用大量CPU运算单元)情况下,会出现前后同一变量的数据不一致的情况。也就是所谓的“竞态问题”。

 

 

二、asyncio模块

asyncio模块 密集运算测试(线程安全!不存在争夺资源问题),所以协程在密集运算和IO并发上都有很强的支持。

代码:

#密集运算测试
import asyncio

a = 0
tasks = []
num = 0
async def do_something(x):
    global a
    global num
    #num += 1         # 思路3:num自增的位置(在阻塞前/后)不同会产生不同的结果
    await asyncio.sleep(x)
    for b in range(1,51):   #计算从1+...+50
        a+=b
    num += 1            #思路1
print("this is coroutetime",":",num,a)    #思路1,思路3
print("this is coroutetime",":",x,a)       #思路2

for i in range(1,20000):             #即使睡眠的时间很短,运算量大都不会产生资源争夺
coroutine = do_something(1)                   #思路1
# coroutine = do_something(i*0.01)              #思路2
# coroutine = do_something(3//i)                #思路3
    tasks.append(asyncio.ensure_future(coroutine))

loop = asyncio.get_event_loop()      #创建事件循环
loop.run_until_complete(asyncio.wait(tasks))     #将协程塞进事件循环中

 

代码实现思路:

(1)思路1:每一个协程的睡眠时间相同,也就是说几乎是同时在运行密集型计算,并用num自增计算作为协程的代号。

(2)思路2:为了区别开不同协程的占据CPU的运行时间片,我对睡眠时间进行了一个乘法运算,协程代号越大的协程睡眠时间越长,并用时间作为协程代号的记录。

(3)思路3:这次我将睡眠时间作一个调整,用除法运算,也就是说,协程代号越大的,睡眠时间越短,不过这次协程代号用num来记录,并且放在了睡眠(阻塞)之前。

 

摘取前几个数据

思路1:当设定的睡眠时间(阻塞时间)相同时,结果的打印几乎是同时出现
this is coroutetime : 1 1275
this is coroutetime : 2 2550
this is coroutetime : 3 3825
this is coroutetime : 4 5100
this is coroutetime : 5 6375
this is coroutetime : 6 7650
this is coroutetime : 7 8925
this is coroutetime : 8 10200

思路1运行时间: 3.0337979793548584 3.159485340118408 3.095968008041382 平均运行时间3.08秒

 

思路2:当设定的睡眠时间(阻塞时间)不同,协程代号就是睡眠的时间
this is coroutetime : 0.01 1275
this is coroutetime : 0.02 2550
this is coroutetime : 0.03 3825
this is coroutetime : 0.04 5100
this is coroutetime : 0.05 6375
this is coroutetime : 0.06 7650
this is coroutetime : 0.07 8925
this is coroutetime : 0.08 10200

 

由上面两组数据可以看出,无论协程是同时进行还是分时间段进行,都是严格按照顺序来执行的。思路2的结果很符合我们的认知常识,那么思路1的结果是怎么得来的呢?原因在于,多并发(此处的密集型运算用于模拟一系列的并发内部操作)情况下,阻塞的协程会暂时被搁置,切换到另外的协程。可以将协程的运行理解为一个队列,当大量协程来临的时候,无法一次性执行,于是放进一个类似队列的容器(WeakSet),并且不断检测这个队列中哪一个协程是处于非阻塞状态的,去调用这个协程的资源并运行。队列中的每一个元素间是互不干扰的。于是,就出现了以上的结果----有序的协程运行。

 

思路3:再看下面一组数据
this is coroutetime : 1999 1275
this is coroutetime : 1999 2550
this is coroutetime : 1999 3825
this is coroutetime : 1999 5100
this is coroutetime : 1999 6375
this is coroutetime : 1999 7650
this is coroutetime : 1999 8925
this is coroutetime : 1999 10200

 

为什么所有的协程号都一样

因为最大协程号,睡眠时间最短,所以它先执行输出,而协程号是累加的,所以后面执行的线程都会以最大的协程号作为标记。由此进一步看出

 

三、性能对比

完成时间对比:

threading:平均运行时间:7.0秒

anyncio:平均运行时间3.08秒

 

由上面的多线程模块threading和协程模块asyncio的对比可以看出,ansyncio的完成时间是threading的一半左右。由此,asyncio在高并发的情况下具有比较大的优势,并且在资源的保护上也做得比threading要好。

 

--结束END--

本文标题: python协程--asyncio模块(

本文链接: https://www.lsjlt.com/news/180524.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python协程--asyncio模块(
    在高并发的场景下,python提供了一个多线程的模块threading,但似乎这个模块并不近人如意,原因在于cpython本身的全局解析锁(GIL)问题,在一段时间片内实际上的执行是单线程的。同时还存在着资源争夺的问题。python3.4...
    99+
    2023-01-30
    模块 python 协程
  • Python标准模块--asyncio
    asyncio模块作为一个临时的库,在Python 3.4版本中加入。这意味着,asyncio模块可能做不到向后兼容甚至在后续的Python版本中被删除。根据Python官方文档,asyncio通过coroutines、sockets和其它...
    99+
    2023-01-31
    模块 标准 Python
  • 浅谈Python协程asyncio
    一、协程 官方描述; 协程是子例程的更一般形式。 子例程可以在某一点进入并在另一点退出。 协程则可以在许多不同的点上进入、退出和恢复。 它们可通过 async def 语句来实现。...
    99+
    2024-04-02
  • 【PYTHON模块】:协程与greenl
    协程:又称为微线程,英文名称Coroutine。作用:它拥有自己的寄存器上下文和栈,能保留上一次调用时的状态,可以随时暂停程序,随时切换回来。优点:    •无需线程上下文切换的开销    •无需原子操作锁定及同步的开销      •方便切...
    99+
    2023-01-31
    模块 PYTHON greenl
  • python 中的 asyncio 异步协程
    目录一、定义协程二、运行协程三、协程回调四、运行多个协程五、run_forever六、多协程中关闭run_forever一、定义协程 asyncio 执行的任务,称为协程,但是Asy...
    99+
    2024-04-02
  • python协程与 asyncio 库详情
    目录1.asyncio 异步 I/O 库异步函数的定义事件循环 event_loop创建 task回调返回值循环事件关闭2.本节爬虫项目前言: python 中协程概念是从 3.4 ...
    99+
    2024-04-02
  • Golang协程与 asyncio
    golang 协程和 python asyncio 都是并发编程工具。协程是轻量级线程,在同一线程并发运行;asyncio 使用事件循环处理 i/o 事件。golang 协程语法简洁,性...
    99+
    2024-04-15
    golang asyncio python
  • python协程与asyncio库怎么用
    今天小编给大家分享一下python协程与asyncio库怎么用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。1.asynci...
    99+
    2023-06-30
  • python3--协程,greenlet模块,gevent模块
    python之路——协程引子之前学习了线程、进程的概念,了解了在操作系统中进程是资源分配的最小单位,线程是CPU调度的最小单位。按道理来说我们已经算是把cpu的利用率提高很多了。但是我们知道无论是创建多进程还是创建多线程来解决问题,都要消耗...
    99+
    2023-01-30
    模块 协程 gevent
  • Python中gevent模块协程怎么用
    这篇文章主要介绍Python中gevent模块协程怎么用,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!背景因为 Python 线程的性能问题,在 Python 中使用多线程运行代码经常不能达到预期的效果。而实际开发中...
    99+
    2023-06-20
  • Python协程asyncio异步编程笔记分享
    目录1.事件循环2.协程和异步编程2.1 基本使用 2.2 await 2.3 Task对象 1.事件循环 可以理解成为一个死循环,去检查任务列表中的任务,如果可执行就去执行,如果检...
    99+
    2024-04-02
  • asyncio异步IO--协程(Coro
    摘要:本文翻译自Coroutines and Tasks,主要介绍asyncio中用于处理协程和任务的方法和接口。在翻译过程中,译者在官方文档的基础上增加了部分样例代码和示意图表,以帮助读者对文档的理解。本文内容主要针对python3.7...
    99+
    2023-01-30
    IO asyncio Coro
  • Python协程及asyncio基础知识有哪些
    小编给大家分享一下Python协程及asyncio基础知识有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Python协程及asyncio基础知识协程(cor...
    99+
    2023-06-15
  • python中的asyncio异步协程怎么实现
    这篇“python中的asyncio异步协程怎么实现”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“python中的async...
    99+
    2023-06-30
  • Python中的协程(Coroutine)操作模块(greenlet、gevent)
    目录一、协程介绍1、介绍2、举例3、优点如下:4、缺点如下:5、总结协程特点:二、greenlet(绿叶)模块1、安装模块2、greenlet实现状态切换3、效率对比三、gevent...
    99+
    2024-04-02
  • 怎么在python3协程中使用asyncio
    怎么在python3协程中使用asyncio?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Python主要用来做什么Python主要应用于:1、Web开发;2、...
    99+
    2023-06-14
  • 怎么在Python中利用 Asyncio模块实现一个生产消费者模型
    本文章向大家介绍怎么在Python中利用 Asyncio模块实现一个生产消费者模型的基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。Python主要用来做什么Python主要应用于:1、Web开发;2、数...
    99+
    2023-06-06
  • Python模块:time模块
    time模块:python中处理时间的基础模块,有时间戳,元组,自定义,三种时间表现形式。python中时间戳的值是以1970年1月1日0点开始计算的,单位是秒。时间戳:就是两个时间差的数值。时区:传说中在开发服务器/客户端程序时,时区不一...
    99+
    2023-01-31
    模块 Python time
  • python模块:smtplib模块
    1.使用本地的sendmail协议进行邮件发送格式(1):smtpObj=smtplib.SMTP([host [,port [,local_hostname]]])host:SMTP服务器主机的IP地址或者是域名port:服务的端口号(默...
    99+
    2023-01-31
    模块 python smtplib
  • python子进程模块subproce
    属性1.Popen.poll():用于检查子进程是否已经结束。设置并返回returncode属性。2.Popen.wait():等待子进程结束。设置并返回returncode属性。3.Popen.communicate(input=None...
    99+
    2023-01-31
    模块 进程 python
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作