iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >生产者、消费者模型---Queue类
  • 300
分享到

生产者、消费者模型---Queue类

生产者模型消费者 2023-01-30 22:01:33 300人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

Queue队列在几乎每种编程语言都会有,python的列表隐藏的一个特点就是一个后进先出(LIFO)队列。而本文所讨论的Queue是Python标准库queue中的一个类。它的原理与列表相似,但是先进先出(FIFO)队列。而内部实现更为完

Queue队列在几乎每种编程语言都会有,python的列表隐藏的一个特点就是一个后进先出(LIFO)队列。而本文所讨论的Queue是Python标准库queue中的一个类。它的原理与列表相似,但是先进先出(FIFO)队列。而内部实现更为完善,有很好的数据保护机制和较高的稳定性。

Queue队列在编程中的实际应用:进程中的通信

       假如两个进程需要互通数据,怎么做?用全局变量,然后在进程中通过global关键字引入全局变量?那么问题是,怎么控制时间效应问题,即什么时候获取、传送变量?如何保证数据的安全性?显然这种方案不是很恰当。python为实现进程的通信提出了几种机制,本文的Queue就是其中一种。另外还有Value,Pipe,Signal等。

关于Signal可以看看我之前写的文章:

python进程间通信--信号Signal

 

首先需要介绍Queue的类方法:

1. put()          将元素塞进队列,当队列满时不阻塞等待

2. put_nowait()    将元素塞进队列,当队列满时阻塞等待

3. get()           从队列中取出元素,如果队列为空,阻塞等待

4.get_nowait()     从队列中取出元素,如果队列为空,不阻塞等待

5. full()           判断队列是否为已经满

6. empty()        判断队列是否为空

7. qsize()         获取队列的元素个数

8. task_done()     当队列中的任务完成之后会自动调用task_done通知Queue,并对join()方法其作用

9. join()          阻塞等待直到所有的队列任务完成(被取出)

 

几个关键方法的详细解析

1. put(item,block = True,timeout = None)

将数据放进队列,item为需要塞进的元素,可以是基本数据类型变量,也可以是函数。block默认为True,即当Queue已经满时,阻塞等待(阻塞是同步的,会影响下面的程序运行)。timeout为阻塞等待超时时间,单位为秒,当超过指定时间,退出阻塞,同时报出Queue.Full错误。

 

2. put_nowait(item)

基本用法与put相同。当队列为满时,不阻塞等待,相当于put(item,block = False)

 

3. get(block= True ,timeout = None)

    获取队列元素,block默认为True,当队列为空时,阻塞等待。timeout为超时时间,单位为秒,当超过指定时间,退出等待。

 

一、Queue类方法基本使用(为了方便调用接口,在Queue基础上再进行了一次封装):

from queue import Queue

class MyQueue():             #自定义一个MyQueue类
    def __init__(self,size=3):
        self.max_size = size
        self.queue = Queue(size)

  #put()方法可以传入数值
    # item1 = 2
    # item2 = 3
    # item3 = 3
    # queue.put(item1)
    # queue.put(item2)
    # queue.put(item3)

    # 超过长度的内容
    # item4 = 5
    # queue.put_nowait(item4)

  #put()方法也可以传入函数
    def _print_num(self,n):
        num = n
        return num

    def write_queue(self):
        for n in range(4):
            try:
              self.queue.put_nowait(self._print_num(n))  #如果队列已经满了,会报出Full错误
            except:
                print('队列已经满了,无法添加内容')


    def print_queue_length(self):
       print('队列的长度是:',self.queue.qsize())

    def get_queue(self):
        if self.queue.empty() is False:
            queue_size = self.queue.qsize()
            n = 1
            for i in range(queue_size):
                if n > queue_size:
                    print('队列已经空了')
                value = self.queue.get()
                print('队列第%s个值是:%s'%(n,value))
                n += 1
        else:
          print('队列已经空了')


#实例化代码
myqueue = MyQueue()
myqueue.write_queue()
myqueue.print_queue_length()
myqueue.get_queue()

运行结果

 

二、多进程间通信:

from multiprocessing import Process,Manager

#将数据装进队列
def put_msg(q,lock):
    lock.acquire()
    for i in range(3):
        print('Put the %s into the queue'%i)
        q.put(i)
    lock.release()


#将数据取出
def get_msg(q):
    while True:
        if not q.empty():
            value = q.get(False)
            print('Get the %s from the queue'%value)
        else:
            break


if __name__ == '__main__':
    manager = Manager()
    q = manager.Queue(5)    #队列长度设为5
    lock = manager.Lock()
    processes = []
    process1 = Process(target=put_msg,args=(q,lock))
    process2 = Process(target=get_msg,args=(q,))

    processes.append(process1)
    processes.append(process2)
    for p in processes:
        p.start()
        p.join()

在父进程中创建Queue,传入两个子进程,因为python中父进程无法与子进程进行通信,必须使用Manage来实现。为了只有一个进程在对Queue进行操作,使用Manage的Lock。

 

结果:
Put the 0 into the queue
Put the 1 into the queue
Put the 2 into the queue
Get the 0 from the queue
Get the 1 from the queue
Get the 2 from the queue

 

解析:

操作系统中的进程本质上是一个程序在一个数据集上动态执行的过。而进程通常是由程序、数据集和进程控制块组成。

程序:也就是我们平时在IDE上编写的代码,描述了一个进程的内部运行逻辑和功能;

数据集:程序执行过程中需要使用到的资源,包括io资源和基本数据;

进程控制块:操作系统通过进程控制块来对进程进行控制和管理,记录进程的外部特征和描述进程的执行过程

为了确保进程的独立性和安全性,操作系统在执行程序的时候会用到一种数据解构--栈。程序和数据的入栈和出栈对应进程的等待执行和正式执行。如此一来,各进程间的数据集是相互隔离的(即使可能在同一个栈中)。要进行进程间的通信或者子进程和父进程间的通信,就必须通过一定的机制。上面谈到到的Queue和Manage正是python中实现进程间通信的其中两种。

 

参考文章:

Http://python.jobbole.com/86181/

 

--结束END--

本文标题: 生产者、消费者模型---Queue类

本文链接: https://www.lsjlt.com/news/180336.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 生产者、消费者模型---Queue类
    Queue队列在几乎每种编程语言都会有,python的列表隐藏的一个特点就是一个后进先出(LIFO)队列。而本文所讨论的Queue是python标准库queue中的一个类。它的原理与列表相似,但是先进先出(FIFO)队列。而内部实现更为完...
    99+
    2023-01-30
    生产者 模型 消费者
  • Java中的生产者/消费者模型
    一、什么是生产者/消费者模型 生产者-消费者模型(Producer-Consumer problem)是一个非常经典的多线程并发协作的模型。 比如某个模块负责生产数据,而另一个模块负责处理数据。产生数据的模块就形象地被称为生产者;而处理数据...
    99+
    2023-10-05
    java 多线程 wait notify notifyAll
  • 生产者与消费者+Queue(线程安全)
    from queue import Queue from lxml import etree import requests from urllib import request from threading import Thread...
    99+
    2023-01-30
    生产者 线程 消费者
  • 生产者消费者
    1、概念 所谓,生产者与消费者模型,本质上是把进程通信的问题分开考虑 生产者,只需要往队列里面丢东西(生产者不需要关心消费者) 消费者,只需要从队列里面拿东西(消费者也不需要关心生产者) 1 # 多线程实现生产者消费者模型 2 ...
    99+
    2023-01-30
    生产者 消费者
  • python 的生产者和消费者模式
    目录python 的生产者和消费者模式一、生产者消费者模式概述二、为什么使用生产者消费者模式三、什么是生产者消费者模式四、代码案例1、定义一个生产者2、定义一个消费者3、定义一个队列...
    99+
    2024-04-02
  • 爬虫——生产者消费者
    结构 生产者生成网址并放入队列 多个消费者从队列中取出网址 1 from queue import Queue 2 import time, threading, requests 3 4 url_base = 'ht...
    99+
    2023-01-30
    爬虫 生产者 消费者
  • kafka-3python生产者和消费者
    程序分为productor.py是发送消息端,consumer为消费消息端,启动的时候先启动product再启动consumer,毕竟只有发了消息,消费端才有消息可以消费,productor.py#!/usr/bin/env python2...
    99+
    2023-01-31
    生产者 消费者 kafka
  • golang生产者消费者模式怎么实现
    在Go语言中,可以使用goroutine和channel来实现生产者消费者模式。 首先,我们定义一个包含生产者和消费者的函数: fu...
    99+
    2023-10-20
    golang
  • Python生产者与消费者模型中的优势有哪些
    这篇文章主要介绍“Python生产者与消费者模型中的优势有哪些”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Python生产者与消费者模型中的优势有哪些”文章能帮助大家解决问题。生产者消费者模型具体...
    99+
    2023-07-05
  • Python教程之生产者消费者模式解析
    为什么使用生产者消费者模式 在线程世界里,生产者就是生产数据的线程,消费者就是消费数据的线程。在多线程开发中,如果生产者处理速度很快,而消费者处理速度很慢,那么生产者就必须等待消费者...
    99+
    2024-04-02
  • 生产消费者模型中的task_done()如何作用
    这篇文章主要讲解了“生产消费者模型中的task_done()如何作用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“生产消费者模型中的task_done()如何作用”吧!tase_done()...
    99+
    2023-07-05
  • Java多线程之生产者消费者模式详解
    目录1.生产者消费者模型2.实现生产者消费者模型3.生产者消费者模型的作用是什么总结问题: 1.什么是阻塞队列?如何使用阻塞队列来实现生产者-消费者模型? 2. 生产者消费者模型的作...
    99+
    2024-04-02
  • java wait()/notify() 实现生产者消费者模式详解
    java wait()/notify() 实现生产者消费者模式 java中的多线程会涉及到线程间通信,常见的线程通信方式,例如共享变量、管道流等,这里我们要实现生产者消费者模式,也需...
    99+
    2024-04-02
  • Go 生产者消费者避免死锁
    问题内容 我有一个关于消费者和生产者的代码。虽然我在这里提出了这个问题以进行代码审查,并且这个想法的很大一部分是从这个线程中衍生出来的,这里是操场上的代码。 此代码有多个生产者和消费...
    99+
    2024-02-06
  • python多进程中的生产者和消费者模型怎么实现
    这篇文章主要介绍了python多进程中的生产者和消费者模型怎么实现的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇python多进程中的生产者和消费者模型怎么实现文章都会有所收获,下面我们一起来看看吧。Pytho...
    99+
    2023-07-05
  • Go语言如何实现一个简单生产者消费者模型
    这篇文章给大家分享的是有关Go语言如何实现一个简单生产者消费者模型的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、生产者消费者模型生产者消费者模型:某个模块(函数等〉负责产生数据,这些数据由另一个模块来负责处理...
    99+
    2023-06-22
  • Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者
    1、查看kafka队列中topic信息 1.1、查看所有topic ./kafka-topics.sh --zookeeper 10.128.106.52:2181 --list 1.2、查看kafka中指定topic的详情 ./kafk...
    99+
    2023-08-21
    kafka 分布式 java
  • Golang rabbitMQ生产者消费者实现示例
    目录消费者生产者消费者 package main import ( "fmt" "github.com/streadway/amqp" ) func failOnError(er...
    99+
    2024-04-02
  • java 中怎么实现生产者消费者
    今天就跟大家聊聊有关java 中怎么实现生产者消费者,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。生产者消费者图存储空间已满,而生产者占用着它,消费者等着生产者让出空间从而去除产品,...
    99+
    2023-06-17
  • Java多线程Queue、BlockingQueue和使用BlockingQueue实现生产消费者模型方法解析
    Queue是什么队列,是一种数据结构。除了优先级队列和LIFO队列外,队列都是以FIFO(先进先出)的方式对各个元素进行排序的。无论使用哪种排序方式,队列的头都是调用remove()或poll()移除元素的。在FIFO队列中,所有新元素都插...
    99+
    2023-05-30
    java 多线程 生产消费者
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作