iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Python协程实践分享
  • 836
分享到

Python协程实践分享

2024-04-02 19:04:59 836人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

目录协程yield在协程中的用法经典示例生产者-消费者模式(协程)gevent第三方库协程支持经典代码asyncio内置库协程支持关于aioHttp协程 协程简单来说就是一个更加轻量

协程

协程简单来说就是一个更加轻量级的线程,并且不由操作系统内核管理,完全由程序所控制(在用户态执行)。协程在子程序内部是可中断的,然后转而执行其他子程序,在适当的时候返回过来继续执行。

协程的优势?(协程拥有自己的寄存器上下文和栈,调度切换时,寄存器上下文和栈保存到其他地方,在切换回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加的访问全局变量,所以上下文非常快。)

yield在协程中的用法

1、协程中的yield通常出现在表达式的右边:

x = yield data

如果yield的右边没有表达式,默认产出的值是None,现在右边有表达式,所以返回的是data这个值。
2、协程可以从调用法接受数据,调用通过send(x)方式将数据提供给协程,同时send方法中包含next方法,所以程序会继续执行。
3、协程可以
中断执行
,去执行另外的协程。

经典示例

代码:

def hello():
    data = "mima"
    while True:
        x = yield data  
        print(x)
a = hello()
next(a)
data = a.send("hello")
print(data)

代码详解:
程序开始执行,函数hello不会真的执行,而是返回一个生成器给a。
当调用到next()方法时,hello函数才开始真正执行,执行print方法,继续进入while循环;
程序遇到yield关键字,程序再次中断,此时执行到a.send(“hello”)时,程序会从yield关键字继续向下执行,然后又再次进入while循环,再次遇到yield关键字,程序再次中断;

协程在运行过程中的四个状态

  • GEN_CREATE:等待开始执行
  • GEN_RUNNING:解释器正在执行
  • GEN_SUSPENDED:在yield表达式处暂停
  • GEN_CLOSED:执行结束

生产者-消费者模式(协程)

import time
def consumer():
    r = ""
    while True:
        res = yield r
        if not res:
            print("Starting.....")
            return
        print("[CONSUMER] Consuming %s...." %res)
        time.sleep(1)
        r = "200 OK"
def produce(c):
    next(c)
    n = 0
    while n<6:
        n+=1
        print("[PRODUCER] Producing %s ...."%n)
        r = c.send(n)
        print("[CONSUMER] Consumer return: %s ...."%r)
    c.close()
c = consumer()
produce(c)     

代码分析:

  • 调用next©启动生成器;
  • 消费者一旦生产东西,通过c.send切换到消费者consumer执行;
  • consumer通过yield关键字获取到消息,在通过yield把结果执行;
  • 生产者拿到消费者处理过的结果,继续生成下一条消息;
  • 当跳出循环后,生产者不生产了,通过close关闭消费者,整个过程结束;

gevent第三方库协程支持

原理:gevent基于协程的python网络库,当一个greenlet遇到IO操作(访问网络)自动切换到其他的greenlet等到IO操作完成后,在适当的时候切换回来继续执行。换而言之就是greenlet通过帮我们自动切换协程,保证有greenlet在运行,而不是一直等待IO操作。

经典代码

由于切换时在发生IO操作时自动完成,所以gevent需要修改Python内置库,这里可以打上猴子补丁(用来在运行时动态修改已有的代码,而不需要原有的代码)monkey.patch_all

#!/usr/bin/python2
# coding=utf8
from gevent import monkey
monkey.patch_all()
import gevent
import requests
def handle_html(url):
    print("Starting %s。。。。" % url)
    response = requests.get(url)
    code = response.status_code
    print("%s: %s" % (url, str(code)))
if __name__ == "__main__":
    urls = ["https://www.baidu.com", "https://www.douban.com", "https://www.qq.com"]
    jobs = [ gevent.spawn(handle_html, url) for url in urls ]
    gevent.joinall(jobs)

运行结果:

结果:3个网络连接并发执行,但是结束的顺序不同。

asyncio内置库协程支持

原理:asyncio的编程模型就是一个消息循环,从asyncio模块中直接获取一个Eventloop(事件循环)的应用,然后把需要执行的协程放入EventLoop中执行,实现异步IO。

经典代码:

import asyncio
import threading
async def hello():
    print("hello, world: %s"%threading.currentThread())
    await asyncio.sleep(1) # 
    print('hello, man %s'%threading.currentThread())

if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait([hello(), hello()]))
    loop.close()

代码解析:

  • 首先获取一个EventLoop
  • 然后将这个hello的协程放进EventLoop,运行EventLoop,它会运行知道future被完成
  • hello协程内部执行await asyncio.sleep(1)模拟耗时1秒的IO操作,在此期间,主线程并未等待,而是去执行EventLoop中的其他线程,实现并发执行。

代码结果:

异步爬虫实例:

#!/usr/bin/python3
import aiohttp
import asyncio
async def fetch(url, session):
    print("starting: %s" % url)
    async with session.get(url) as response:
        print("%s : %s" % (url,response.status))
        return await response.read()
async def run():
    urls = ["https://www.baidu.com", "https://www.douban.com", "http://www.mi.com"]
    tasks = []
    async with aiohttp.ClientSession() as session:
        tasks = [asyncio.ensure_future(fetch(url, session)) for url in urls] # 创建任务
        response = await asyncio.gather(*tasks) # 并发执行任务

        for body in response:
            print(len(response))
if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    loop.run_until_complete(run())
    loop.close()

代码解析:

  • 创建一个事件循环,然后将任务放到时间循环中;
  • run()方法中主要是创建任务,并发执行任务,返回读取到的网页内容;
  • fetch()方法通过aiohttp发出指定的请求,以及返回 可等待对象;

(结束输出网址和list中网址的顺序不同,证明协程中异步I/O操作)

关于aiohttp

asyncio实现类tcp、UDP、SSL等协议,aiohttp则是基于asyncio实现的HTTP框架,由此可以用来编写一个微型的HTTP服务器

代码:

from aiohttp import WEB
async def index(request):
    await asyncio.sleep(0.5)
    print(request.path)
    return web.Response(body=' Hello, World')
async def hello(request):
    await asyncio.sleep(0.5)
    text = 'hello, %s'%request.match_info['name']
    print(request.path)
    return web.Response(body=text.encode('utf-8'))

async def init(loop):
    app = web.Application(loop=loop)
    app.router.add_route("GET", "/" , index)
    app.router.add_route("GET","/hello/{name}", hello)
    srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
    print("Server started at http://127.0.0.0.1:8000....")
    return srv

if __name__ == "__main__":
    loop = asyncio.get_event_loop()
    loop.run_until_complete(init(loop))
    loop.run_forever()

代码解析:

  • 创建一个事件循环,传入到init协程中;
  • 创建Application实例,然后添加路由处理指定的请求;
  • 通过loop创建TCP服务,最后启动事件循环;

到此这篇关于Python协程实践分享的文章就介绍到这了,更多相关Python协程内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: Python协程实践分享

本文链接: https://www.lsjlt.com/news/118319.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Python协程实践分享
    目录协程yield在协程中的用法经典示例生产者-消费者模式(协程)gevent第三方库协程支持经典代码asyncio内置库协程支持关于aiohttp协程 协程简单来说就是一个更加轻量...
    99+
    2024-04-02
  • Python协程的2种实现方式分享
    目录什么是协程生成器协程原生协程两种协程对比实战案例什么是协程 在 Python 中,协程(Coroutine)是一种轻量级的并发编程方式,可以通过协作式多任务来实现高效的并发执行。...
    99+
    2023-05-18
    Python实现协程方式 Python实现协程 Python协程
  • Git多人协作开发实践经验分享
    Git多人协作开发实践经验分享引言:在软件开发领域,多人协作是一项非常重要的工作流程,特别是对于大型项目来说。有效的多人协作能够提高开发效率,减少冲突和错误。而Git作为目前最流行的版本控制系统,为多人协作提供了强大的支持。本文将分享一些G...
    99+
    2023-11-03
    git 开发经验 多人协作
  • Python协程asyncio异步编程笔记分享
    目录1.事件循环2.协程和异步编程2.1 基本使用 2.2 await 2.3 Task对象 1.事件循环 可以理解成为一个死循环,去检查任务列表中的任务,如果可执行就去执行,如果检...
    99+
    2024-04-02
  • Python协程方式的实现及意义笔记分享
    目录协程1.greenlet实现协程2.yield3.asyncio4.async & awit协程的意义小结协程 协程不是计算机提供的,是程序员认为创造 协程也被称为微线程...
    99+
    2024-04-02
  • Python用yieldfrom实现异步协程爬虫的实践
    目录一、什么是yield二、yield于列表的区别三、yield from 实现协程一、什么是yield 如果还没有怎么用过的话,直接把yield看做成一种特殊的return(PS:...
    99+
    2023-01-18
    Python yield from异步协程爬虫 Python 异步协程爬虫
  • Python打包程序优化二维码编程算法的实践经验分享
    二维码作为一种快速传递信息的方式,在日常生活中得到了广泛应用。Python作为一种高效的编程语言,也自然而然地成为了二维码编程的首选语言之一。然而,随着二维码的使用场景不断扩大,对二维码编程算法的优化需求也越来越迫切。本文将分享我们在Py...
    99+
    2023-08-26
    打包 编程算法 二维码
  • 响应式编程:PHP教程中的算法实践分享。
    响应式编程是一种面向数据流和变化传播的编程范式。它的目的是使代码更加可读、可维护和可扩展。PHP作为一种流行的后端语言,也可以使用响应式编程来增强代码的质量。在本篇文章中,我们将介绍响应式编程的概念和在PHP中的实践经验。 响应式编程的...
    99+
    2023-07-22
    教程 编程算法 响应
  • PHP微服务架构实践分享
    PHP 微服务架构实践分享 随着互联网技术的飞速发展,微服务架构作为一种架构设计理念受到越来越多开发者的青睐。作为一种分布式系统的设计风格,微服务架构通过将一个应用划分为多个小服务来提...
    99+
    2024-04-02
  • Python的进程,线程和协程实例分析
    这篇“Python的进程,线程和协程实例分析”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Python的进程,线程和协程实例...
    99+
    2023-06-29
  • ASP编程算法中的Git重定向实践分享。
    ASP编程算法中的Git重定向实践分享 Git是一个分布式版本控制系统,它可以帮助开发人员在多个分支中管理代码。在ASP编程算法中,Git可以帮助开发人员更好地管理代码并避免出现冲突。本文将分享Git重定向实践,并介绍如何在ASP编程算法中...
    99+
    2023-08-05
    编程算法 git 重定向
  • Go语言项目开发实践中的最佳实践分享
    Go语言近年来在软件开发领域越来越受到关注,成为了很多开发者的首选语言。其简洁的语法、高效的并发模型,以及强大的标准库,使得Go语言在开发项目时具有很大的优势。然而,在实际项目开发中,还是存在一些需要注意的地方,本文将分享一些Go语言项目开...
    99+
    2023-11-03
    合理利用并发编程能力 合理处理错误
  • Git分支管理策略实践经验分享
    Git分支管理是开发团队中非常重要的一项工作,良好的分支管理策略可以有效提升团队的代码管理效率和开发流程。本文将分享一些实践经验,帮助读者更好地理解和应用Git分支管理策略。一、Git分支管理的重要性Git是目前最流行的分布式版本控制系统,...
    99+
    2023-11-04
    经验分享 Git分支管理 策略实践
  • Linux 服务器上 PHP 分布式编程的实践经验分享。
    Linux 服务器上 PHP 分布式编程的实践经验分享 在当今互联网时代,大型网站的访问量和数据量越来越大,单一服务器的负载能力已经无法满足需求。为了解决这一问题,分布式架构应运而生。分布式架构将系统的不同部分分布在多个服务器上,通过协作完...
    99+
    2023-11-05
    学习笔记 linux 分布式
  • MySQL 配置主从复制实践分享
    目录一、检测通信二、master配置1. 开启二进制日志2. 创建一个用于主从库通信用的账号3. 获取binlog的日志文件名和position三、slave配置1. 配置全局唯一的...
    99+
    2024-04-02
  • Golang函数库的最佳实践分享
    遵循 go 函数库最佳实践可确保代码高效可靠。实践包括:清晰的接口、丰富的文档、测试覆盖率、性能考虑、版本控制和社区贡献。 Go 函数库最佳实践 函数库是可以重复使用的代码块,可帮助您...
    99+
    2024-04-20
    golang 最佳实践 git
  • 分布式系统中Java异步编程的实践经验分享?
    分布式系统中Java异步编程的实践经验分享 在分布式系统中,异步编程是一种非常重要的编程方式。Java语言作为一门非常流行的编程语言,也提供了非常强大的异步编程支持。本文将分享一些Java异步编程的实践经验,帮助读者更好地理解和使用异步编程...
    99+
    2023-10-15
    分布式 linux 异步编程
  • 好程序员web前端分享WebSocket协议
         好程序员web前端分享WebSocket协议,WebSocket协议简介WebSocket协议简介WebSocket是html5规范新引入的功能,用于解决浏览器与后台服务器双向通讯的问题,使用WebS...
    99+
    2023-06-03
  • Go 协程的最佳实践是什么?
    非常抱歉,由于您没有提供文章标题,我无法为您生成一篇高质量的文章。请您提供文章标题,我将尽快为您生成一篇优质的文章。...
    99+
    2024-05-22
  • Golang协程在 Web 开发中的实践
    golang 协程是一种轻量级并发机制,具有以下优势:轻量级:资源消耗少高并发性:可同时执行大量任务可扩展性:不受操作系统线程限制通过优化协程数量、使用协程池、监控协程,可以充分利用协程...
    99+
    2024-04-16
    golang 协程
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作