广告
返回顶部
首页 > 资讯 > 后端开发 > GO >golang的串行处理和并行处理区别
  • 127
分享到

golang的串行处理和并行处理区别

2024-04-02 19:04:59 127人浏览 独家记忆
摘要

程序运算时往往需要数据,而数据的io又往往需要时间传输,而常见的串行处理,是一个任务处理完成才接着处理新的任务, 其效率低下可想而知。 假如有3个任务要处理,而每个任务都有一定的阻塞

程序运算时往往需要数据,而数据的io又往往需要时间传输,而常见的串行处理,是一个任务处理完成才接着处理新的任务, 其效率低下可想而知。 假如有3个任务要处理,而每个任务都有一定的阻塞,串行处理大概是这个样子:

main.Go


package main

import (
    "fmt"
    "time"
)

type Task struct {
    Duration time.Duration
    Name string
}

func main() {
    // 声明要处理的任务
    taskList := []Task {
        {
            1,
            "处理1",
        },
        {
            2,
            "处理2",
        },
        {
            3,
            "处理3",
        },
    }
    starTime := time.Now().Unix()
    for _, item := range taskList {
        goProcess(item)
    }
    fmt.Printf("用时:%ds\n", time.Now().Unix() - starTime)
}


func goProcess(task Task) {
    time.Sleep(time.Second * task.Duration) // 假设这是io阻塞会在这里阻塞一些时间,而这些io可能是网络io也可能是磁盘io等,io完成后才会接着运行下去
    fmt.Printf("任务:%s 处理完毕\n", task.Name)
}

处理打印结果
任务:处理1 处理完毕
任务:处理2 处理完毕
任务:处理3 处理完毕
用时:6s

这种串行处理遇到IO阻塞时,弊端就是太费时间了

可以看到,程序在计算时或许用不到多少时间反而是IO阻塞占用了大量的时间。这种占着茅坑不拉屎,外面等着人直跳脚,确实不太好。而用异步处理则可以跳过阻塞,达到避免占坑的情况发生。

用协程的话,则可以在阻塞时先异步执行下去而不用等待,等所有协程都处理结束,再把处理的结果汇总起来就可以了,代码大概是这样子:

main.go


package main

import (
    "fmt"
    "sync"
    "time"
)

type Task struct {
    Duration time.Duration
    Name string
}

func main() {
    // 声明要处理的任务
    taskList := []Task {
        {
            1,
            "处理1",
        },
        {
            2,
            "处理2",
        },
        {
            3,
            "处理3",
        },
    }
    starTime := time.Now().Unix()
    var res []string //处理结果收集
    resChang := make(chan string, len(taskList))
    wg := &sync.WaitGroup{}
    // 这里收集异步处理的结果, 通过管道把数据传递过来,类似于单一订阅功能吧
    go func() {
        wg.Add(1)
        defer wg.Done() // 通道关闭后 处理结果也收集完毕,则触发 用于通知下方批处理,处理结果已经收集完毕
        for resItem := range resChang {
            res = append(res, resItem)
        }
    }()
    taskWG := &sync.WaitGroup{}
    for _, item := range taskList {
        taskWG.Add(1) // 批处理 信号量+1
        go goProcess(item, &resChang, taskWG)
    }
    taskWG.Wait()// 这里阻塞,等待所有处理执行完毕, 才接着运行下去
    close(resChang)// 已经处理完毕后就关闭处理传输通道
    wg.Wait() // 这是阻塞 等待处理收集完毕, 才接着运行去
    // 打印批处理收集的处理结果
    for _, i := range res {
        fmt.Printf("%s", i)
    }
    fmt.Printf("用时:%ds\n", time.Now().Unix() - starTime)
}


func goProcess(task Task, resChan *chan string, taskWG *sync.WaitGroup) {
    time.Sleep(time.Second * task.Duration) // 假设这是io阻塞会在这里阻塞一些时间,而这些io可能是网络io也可能是磁盘io等,才会接着运行下去
    res := fmt.Sprintf("任务:%s 处理完毕\n", task.Name)
    defer func() {
        *resChan <- res // 把处理结果传出去
        taskWG.Done() // 批处理信号量-1 来报告处理完毕
    }()
}

运行结果
任务:处理1 处理完毕
任务:处理2 处理完毕
任务:处理3 处理完毕
用时:3s

相对于之前的串行,这次的并行有效处理IO的阻塞,相当于,串行就是占坑不用的角,并行则不管这些,你不用,先把你踹开,给有需要的人用先,这样一脚脚的踹,效率就上一来了。

到此这篇关于golang的串行处理和并行处理实现的文章就介绍到这了,更多相关golang 串行处理和并行处理内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: golang的串行处理和并行处理区别

本文链接: https://www.lsjlt.com/news/130088.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • golang的串行处理和并行处理区别
    程序运算时往往需要数据,而数据的IO又往往需要时间传输,而常见的串行处理,是一个任务处理完成才接着处理新的任务, 其效率低下可想而知。 假如有3个任务要处理,而每个任务都有一定的阻塞...
    99+
    2022-11-12
  • golang的串行处理和并行处理有什么区别
    这篇文章主要介绍“golang的串行处理和并行处理有什么区别”,在日常操作中,相信很多人在golang的串行处理和并行处理有什么区别问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”golang的串行处理和并行处...
    99+
    2023-06-20
  • JavaScript中Promise处理异步的并行与串行
    目录一、异步的“并行” 并行中的综合处理二、异步的“串行”:2.1 then链机制处理2.2 真实项目中,想实现异步的串行,...
    99+
    2022-12-19
    promise串行和并行 js promise的用法总结 promise串行执行
  • JavaScript中Promise如何处理异步的并行与串行
    这篇“JavaScript中Promise如何处理异步的并行与串行”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“JavaSc...
    99+
    2023-07-04
  • Python并行处理
    原文:Parallel Processing in Python 作者:Frank Hofmann 翻译:Diwei 当你在机器上启动某个程序时,它只是在自己的“bubble”里面运行,这个气泡的作用就是用来将同...
    99+
    2023-01-31
    Python
  • Java并行处理的实现
    目录1. 背景2.知识3. Java 中的并行处理4. 扩展线程池方式实现并行处理使用 fork/join框架5.参考:1. 背景 本文是一个短文章,介绍Java 中的并行处理。 ...
    99+
    2022-11-12
  • txt逐行处理字符串
    写在前面 环境交代:python3.6 + windows 本人的所有文章只适合善于使用百度的人,因为所有基础知识个个博客复制粘贴了无数遍,我这里均不会详细讲述。 在这里我表示所有不经验证的转载都是耍流氓,把一篇篇错误的文章转载的到处都是...
    99+
    2023-01-31
    字符串 txt
  • js异步处理方案,js的异步串行与异步并行
    目录js异步处理方案,js的异步串行与异步并行一、什么是串行,并行,并发二、实现异步串行三、实现异步并行js异步处理方案,js的异步串行与异步并行 一、什么是串行,并行,并发 串行:...
    99+
    2023-03-24
    javascript异步处理 js异步串行与并行
  • golang如何进行错误处理
    这篇“golang如何进行错误处理”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“golang如何进行错误处理”文章吧。Gol...
    99+
    2023-07-04
  • PHP开发中如何处理任务并行和轮询处理
    在实际的PHP开发中,处理任务的并行性和轮询性是非常常见且重要的操作。本文将介绍如何在PHP中处理任务的并行执行以及轮询处理,同时提供具体的代码示例。一、任务并行处理任务并行处理是指多个任务同时进行,相互之间不会产生阻塞。在PHP中,有几种...
    99+
    2023-10-21
    并行处理 任务处理 轮询处理
  • Golang中的数据并发处理和Go WaitGroup
    Golang中的数据并发处理可以通过使用goroutine和channel来实现。Goroutine是一种轻量级的线程,可以在函数前...
    99+
    2023-10-08
    Golang
  • Java并行处理的实现方法
    本篇内容介绍了“Java并行处理的实现方法”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!目录 背景知识 Java 中的并行处理 扩展线程池方...
    99+
    2023-06-20
  • php异常处理和错误处理有什么区别
    PHP异常处理和错误处理之间有一些区别。1. 异常处理是一种更高级别的错误处理机制,允许程序捕获和处理运行时错误,而不会导致程序终止...
    99+
    2023-08-29
    php
  • JavaScript怎么处理并行请求
    这篇文章主要讲解了“JavaScript怎么处理并行请求”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“JavaScript怎么处理并行请求”吧!需求两个异步...
    99+
    2022-10-19
  • 3行代码实现 Python 并行处理,速
    来源 | towardsdatascience.com 编译 | 数说君 出品 | 数说工作室 原标题:Here’s how you can get a 2–6x speed-up on your data pre-processing...
    99+
    2023-01-31
    代码 Python
  • Golang中怎么对错误进行处理
    这期内容当中小编将会给大家带来有关Golang中怎么对错误进行处理,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。首先介绍几种常见的创建错误的方法基于字符串的错误err1&...
    99+
    2022-10-19
  • PHP怎么将字符串转换为字节并进行处理
    本篇内容主要讲解“PHP怎么将字符串转换为字节并进行处理”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“PHP怎么将字符串转换为字节并进行处理”吧!了解字符串和字节字符串是一个包含零个或多个字符的...
    99+
    2023-07-05
  • 详解Java8 CompletableFuture的并行处理用法
    目录前言场景用法1、在线API2、编写在线API查询3、编写查询服务4、编写测试接口5、效果6、CompletableFuture并行查询7、编写测试接口8、CompletableF...
    99+
    2022-11-13
  • golang字符串处理的方法有哪些
    在Go语言中,有许多内置的字符串处理方法和函数。以下是一些常用的方法: len(str):返回字符串的长度。 str[index]...
    99+
    2023-10-22
    golang
  • 怎么在pandas apply中对并行进行处理
    怎么在pandas apply中对并行进行处理?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。1. pandarallel (pip install )对于一个带有Panda...
    99+
    2023-06-06
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作