iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Python怎么实现父子进程共享文件对象
  • 348
分享到

Python怎么实现父子进程共享文件对象

2023-06-03 02:06:16 348人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

这篇文章主要介绍了python怎么实现父子进程共享文件对象的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python怎么实现父子进程共享文件对象文章都会有所收获,下面我们一起来看看吧。直接上代码:from mu

这篇文章主要介绍了python怎么实现父子进程共享文件对象的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python怎么实现父子进程共享文件对象文章都会有所收获,下面我们一起来看看吧。

直接上代码:

from multiprocessing import Process, Lock

err_file = 'error1.log'  

err_fd = open(err_file, 'w')

 

def put(fd):

     print "PUT"

     fd.write("hello, func put writen")

     print "END"

 

if __name__=='__main__':

    p_list=[]

    for i in range(1):

        p_list.append(Process(target=put, args=(err_fd,)))    

    for p in p_list:

        p.start()

    for p in p_list:

        p.join()

上面的代码意图很清晰: 通过multiprocessing.Process派生一个进程, 去执行put函数, put函数的作用也是很清楚, 输出PUT和END, 并且将”hello, func put write” 写到文件error1.log中.

那么按理说, 输出应该如同上面说的那样, PUT和END,然后error1.log将有那句话”hello, func put write”, 然而, 世事总有那么点难料的, 代码执行结果是:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

[root@iZ23pynfq19Z ~]#

what!? 为什么error1.log没东西 !?

让我们稍微调整下代码, 再见证神奇的事情:

from multiprocessing import Process, Lock

err_file = 'error1.log'  

err_fd = open(err_file, 'w')

 

def put(fd):

     print "PUT"

     fd.write("hello, func put writen")

     fd.write("o" * 4075) # 神奇的一行

     print "END"

 

if __name__=='__main__':

    p_list=[]

    for i in range(1):

        p_list.append(Process(target=put, args=(err_fd,)))    for p in p_list:

        p.start()

    for p in p_list:

        p.join()

输出结果:

[root@iZ23pynfq19Z ~]# py27 2.py ; cat error1.log

PUT

END

hello, func put write

o....(有4075个)

[root@iZ23pynfq19Z ~]#

有没有觉得一种懵逼的感觉!?

如今, 心中涌现两个问题:

  1. 为什么第一个程序无法写入那句话 , 但是第二个却可以?

  2. 那个4075是什么鬼?

在解释这些问题之前, 我们需要清楚标准io库所具有的特点: 全缓冲, 行缓冲, 不缓冲

具体可以看之前博文:https://my.oschina.net/u/2291453/blog/806102

因为现在是写入文件, 所以系统IO将采用全缓冲的方式, 也就是说, 会将缓冲区填满才刷入系统写队列.

所以上面的问题就一下子全解决了, 正因为那些 迷一般的 ‘o’,填满了整个缓冲区, 所以系统将我们的内容刷进去写队列,所以4075怎么来, 就是用4096-sizeof(“hello, func put writen”)+1, 为什么要+1, 因为缓冲区满还不行, 要大于才能触发写动作.

所以我们现在已经能够得出答案, 如果我们想要在multiprcessing.Process中, 用上面类似的方式去写文件时,有三种方法去实现:

  1. 写满缓冲区

  2. 手动调用flush()

  3. 将文件对象设置成不缓冲

第一第二种在上面已经阐述, 那我们简单讲下第三种:

取自Python官网Document:

open(name[, mode[, buffering]])

  ...

  The optional buffering argument specifies the file’s desired buffer size: 0 means unbuffered,

  1 means line buffered, any other positive value means use a buffer of (approximately) that

  size (in bytes). A negative buffering means to use the system default, which is usually line

  buffered for tty devices and fully buffered for other files. If omitted, the system default is

  used. [2]

上图说明就是, 允许我们在open的时候, 设置buffering为0, 那么就是unbuffered模式, 那么在每次写, 就是直接写入写队列,而不是写到缓冲区.(性能最低的方式)

————————————————我是切割线———————————————-

谈论完现象和处理的方法, 我们应该来点深入的;

相信我们曾经试过, 在没有显示关闭文件对象或者显示调用flush时, 文件依旧能够正常写入,那么又是怎么一回事呢?

其实,在我们正常关闭程序时, 进程在退出将会为我们做一些”手尾”, 例如关闭打开的文件描述符, 清理临时文件,清理内存等等.正是因为系统的这种”好习惯”, 所以我们的数据在文件描述符关闭时,就能刷入写队列,文件内容也不会丢失.

那么基于这种认识,我们再回首刚才的问题, 在子进程调用put的时候, 理论上在程序退出时, 并没显示关闭文件描述符, 所以数据在缓冲区就丢失了.

让我们在顺藤摸瓜,看Process的实现

multiprocessing/Processing.py

    def start(self):

        '''

        Start child process

        '''

        assert self._popen is None, 'cannot start a process twice'

        assert self._parent_pid == os.getpid(),

               'can only start a process object created by current process'

        assert not _current_process._daemonic,

               'daemonic processes are not allowed to have children'

        _cleanup()

        if self._Popen is not None:

            Popen = self._Popen

        else:

            from .forking import Popen

        self._popen = Popen(self)

        _current_process._children.add(self)

再看下Popn是怎么做?

multiprocessing/forking.py

    class Popen(object):

 

        def __init__(self, process_obj):

            sys.stdout.flush()

            sys.stderr.flush()

            self.returncode = None

 

            self.pid = os.fork()

            if self.pid == 0:

                if 'random' in sys.modules:

                    import random

                    random.seed()

                code = process_obj._bootstrap()

                sys.stdout.flush()

                sys.stderr.flush()

                os._exit(code)

关键地方就是最后的 os._exit(code), 为什么说最关键? 因为这部分的退出, 将决定进程会处理什么”手尾”,

os._exit是什么鬼?  其实就是标准库的_eixt, 于是我们又能简单学习这东西了

Https://my.oschina.net/u/2291453/blog/813259

在上面的链接, 我们能够比较清楚看到 _exit() 和exit() 是比较不同的两个东西, _exit()  简单暴力, 直接丢弃用户态的内容,进入内核, 而exit()则比较耐心地为我们清理

那么我们是否能够假设: 如果Popen的退出不是os._exit() 会是怎样的效果呢?厦门叉车租赁公司

很幸运的是, sys.exit() 就是我们先要的exit(), 事不宜迟, 赶紧试下!

multiprocessing/forking.py

    class Popen(object):

 

        def __init__(self, process_obj):

            sys.stdout.flush()

            sys.stderr.flush()

            self.returncode = None

 

            self.pid = os.fork()

            if self.pid == 0:

                if 'random' in sys.modules:

                    import random

                    random.seed()

                code = process_obj._bootstrap()

                sys.stdout.flush()

                sys.stderr.flush()

                #os._exit(code)

                sys.exit(code)

测试代码, 返回最原始那个没有’o’填充的版本

[root@iZ23pynfq19Z ~]# python 2.py ; cat error1.log

PUT

END

hello, func put write

我们可以看到, 确实是可以写进去, 这样就证明上面的说法是站得住脚步的

关于“Python怎么实现父子进程共享文件对象”这篇文章的内容就介绍到这里,感谢各位的阅读!相信大家对“Python怎么实现父子进程共享文件对象”知识都有一定的了解,大家如果还想学习更多知识,欢迎关注编程网Python频道。

--结束END--

本文标题: Python怎么实现父子进程共享文件对象

本文链接: https://www.lsjlt.com/news/232122.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Python怎么实现父子进程共享文件对象
    这篇文章主要介绍了Python怎么实现父子进程共享文件对象的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Python怎么实现父子进程共享文件对象文章都会有所收获,下面我们一起来看看吧。直接上代码:from mu...
    99+
    2023-06-03
  • C++中怎么用共享文件实现进程间通信
    在C++中使用共享文件实现进程间通信,可以通过以下步骤实现: 创建一个共享文件,可以使用open()函数或者fopen()函数创建...
    99+
    2024-04-02
  • SpringMVC域对象共享数据怎么实现
    本文小编为大家详细介绍“SpringMVC域对象共享数据怎么实现”,内容详细,步骤清晰,细节处理妥当,希望这篇“SpringMVC域对象共享数据怎么实现”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。SpringM...
    99+
    2023-06-30
  • Angular2如何实现父子组件之间共享服务通信
    小编给大家分享一下Angular2如何实现父子组件之间共享服务通信,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!第一步:定义服务parentService.ts1).这里用Injectab...
    99+
    2024-04-02
  • Java并发编程之对象的共享怎么实现
    这篇文章主要介绍“Java并发编程之对象的共享怎么实现”,在日常操作中,相信很多人在Java并发编程之对象的共享怎么实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Java并发编程之对象的共享怎么实现”的疑...
    99+
    2023-06-29
  • 利用Java怎么对文件目录进行远程共享
    这篇文章将为大家详细讲解有关利用Java怎么对文件目录进行远程共享,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。.远程共享目录操作需要下载对应的jcifs-1.3.18.jar涉及的主要类是...
    99+
    2023-05-31
    java ava
  • Linux操作文件的底层系统调用,探究父子进程是否可以共享文件问题
    目录open()——打开或者创建一个文件write()read()close()lseek函数应用:利用读写对文件进行复制打开文件后,fork的子进程能否共享和父进程共享访问同一个文件?总结lin...
    99+
    2023-03-23
    Linux操作文件 Linux父子进程 Linux进程共享文件
  • linux怎么与windows实现文件共享
    要在Linux和Windows之间实现文件共享,可以使用以下几种方法:1. 使用Samba:Samba是一个开源的软件套件,可以让L...
    99+
    2023-09-08
    linux windows
  • 怎么实现Samba文件共享服务
    这篇文章主要讲解了“怎么实现Samba文件共享服务”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么实现Samba文件共享服务”吧!配置用户认证共享服务端操作:关闭防火墙,关闭selunix...
    99+
    2023-06-05
  • 怎么利用vps实现文件共享
    要利用VPS实现文件共享,可以按照以下步骤进行操作:1. 首先,要确保你已经购买了一个VPS,并且已经成功连接到VPS的操作系统上。...
    99+
    2023-09-14
    vps
  • android跨进程共享数据怎么实现
    Android中跨进程共享数据可以使用以下方法实现:1. 使用Binder机制:Binder是Android中一种轻量级的进程间通信...
    99+
    2023-10-10
    android
  • SpringMVC请求域对象的数据共享怎么实现
    本篇内容主要讲解“SpringMVC请求域对象的数据共享怎么实现”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“SpringMVC请求域对象的数据共享怎么实现”吧!SpringMVC支持路径中的占...
    99+
    2023-06-29
  • python多线程数据共享怎么实现
    在Python中,可以使用`threading`模块来实现多线程数据共享。具体步骤如下: 导入`threading`模块:`im...
    99+
    2023-10-26
    python
  • python多线程共享变量怎么实现
    在Python中,可以使用`threading`模块来实现多线程共享变量。 下面是一个简单的例子,展示了如何使用多线程共享变量: i...
    99+
    2023-10-27
    python
  • Vue3父子组件互调怎么实现
    今天小编给大家分享一下Vue3父子组件互调怎么实现的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。一、父组件调用子组件方法下面...
    99+
    2023-06-30
  • vue-prop中怎么实现父组件向子组件进行传值
    这篇文章给大家介绍vue-prop中怎么实现父组件向子组件进行传值,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。vue-prop是父组件向子组件进行传递数据时使用的。例如子组件为chi...
    99+
    2024-04-02
  • 微信小程序父子组件通信怎么实现
    这篇文章主要介绍“微信小程序父子组件通信怎么实现”,在日常操作中,相信很多人在微信小程序父子组件通信怎么实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”微信小程序父子组件通信怎么实现”的疑惑有所帮助!接下来...
    99+
    2023-07-04
  • windows和Linux之间的文件共享怎么实现
    本篇内容主要讲解“windows和Linux之间的文件共享怎么实现”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“windows和Linux之间的文件共享怎么实现”吧!一、接禁Guest1.右击&...
    99+
    2023-07-04
  • VueJs中怎么实现父子组件通讯
    这篇文章将为大家详细讲解有关VueJs中怎么实现父子组件通讯,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。一、概括在一个组件内定义另一个组件,称之为父子组件...
    99+
    2024-04-02
  • React中怎么实现父子组件传递
    React中怎么实现父子组件传递,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。React的组件生命周期react主要思想是构建可复用组件来构建...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作