iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > GO >Go语言协程处理数据有哪些问题
  • 158
分享到

Go语言协程处理数据有哪些问题

Go协程处理数据Go协程处理Go处理数据 2023-02-20 21:02:46 158人浏览 安东尼
摘要

目录前言一、Goroutine二、sync.WaitGroup三、数据排序四、限制协程数五、协程Panic处理总结前言 我们在开发后台项目常常会遇到一个情况,功能模块列表数据导出ex

前言

我们在开发后台项目常常会遇到一个情况,功能模块列表数据导出excel功能,但列表中某个字段无法通过sql联表查询,且一次性查询再匹对也不方便;此时对列表数据循环,再一个个查询结果加入列表,势必需要很长的时间,我们该怎么才能提升下载速度呢? (这里采用Go开发服务端)

一、Goroutine

当然第一个想到可能是采用协程处理循环里面要查询的数据

type Card struct {
	Name    string  `JSON:"name"`
	Balance float64 `json:"balance"`
}
func main() {
	// 获取卡列表数据
	list := getList()
	var data = make([]Card, 0, len(list))
	for _, val := range list {
		go func(card Card) {
			// 查询业务,将值加入该记录中
			var balance = getBalance()
			data = append(data, Card{
				Name:    card.Name,
				Balance: balance,
			})
		}(val)
	}
	log.Printf("数据:%+v", data)
}
// 获取数据列表
func getList() []Card {
	var list = make([]Card, 0)
	for i := 0; i < 10000; i++ {
		list = append(list, Card{
			Name: "卡-" + strconv.Itoa(i+1),
		})
	}
	return list
}
// 获取余额
func getBalance() float64 {
	time.Sleep(time.Millisecond * 100)
	return float64(rand.Int63n(1000))
}

运行上述代码,结果: "数据:[]",这是为什么呢?主要是协程处理业务需要时间,循环提前结束,所以才会出现这样的结果,该怎么让所有结果都处理结束才输出结果呢?

二、sync.WaitGroup

此方法就是等待组进行多个任务的同步,等待组可以保证在并发环境中完成指定数量的任务

func main() {
	list := getList() // 获取卡列表数据
	var data = make([]Card, 0, len(list))
	var wg sync.WaitGroup // 声明一个等待组
	for _, val := range list {
		wg.Add(1) // 每一个任务开始时,将等待组增加1
		go func(card Card) {
			defer wg.Done() // 使用defer, 表示函数完成时将等待组值减1
			// 查询业务,休眠100微妙,将值加入该记录中
			var balance = getBalance()
			data = append(data, Card{
				Name:    card.Name,
				Balance: balance,
			})
		}(val)
	}
	wg.Wait() // 等待所有任务完成
	log.Printf("数据:%+v", data)
}

运行结果会输出所有数据,但细心的我们会发现,这个时候数据的顺序是乱的,这个也符合业务需求,该怎么进一步改良呢?

三、数据排序

上面讲到协程处理之后的额数据是无序的,这里我们知道数据跳数,直接初始化一个len和cap等于len(list)的空间,将之前append到data的数据改成通过下标复制,这样输出的数据就是list的数据顺序。

func main() {
	list := getList() // 获取卡列表数据
	var data = make([]Card, len(list), len(list))
	var wg sync.WaitGroup // 声明一个等待组
	for k, val := range list {
		wg.Add(1) // 每一个任务开始时,将等待组增加1
		go func(k int, card Card) {
			defer wg.Done() // 使用defer, 表示函数完成时将等待组值减1
			// 查询业务,休眠100微妙,将值加入该记录中
			var balance = getBalance()
			data[k] = Card{
				Name:    card.Name,
				Balance: balance,
			}
		}(k, val)
	}
	wg.Wait() // 等待所有任务完成
	log.Printf("数据:%+v", data)
}

运行上述代码,虽然可以获取到想要的数据排序,但下次下载数据较多,开的协程过多,势必导致资源开销过大,带来一系列问题,那怎么优化限制协程个数呢?

四、限制协程数

大家都知道协程过多,自然消耗过多资源,可能导致其他问题;这里我们借助chan限制协程个数

// 限制100个协程
type pool struct {
	queue chan int
	wg    *sync.WaitGroup
}
func main() {
	list := getList() // 获取卡列表数据
	var data = make([]Card, len(list), len(list))
	var gl = &pool{queue: make(chan int, 500), wg: &sync.WaitGroup{}} // 显示协程数最大500个
	for k, val := range list {
		gl.queue <- 1 // 每一个任务开始时, chan输入1个
		gl.wg.Add(1)  // 每一个任务开始时,将等待组增加1
		go func(k int, card Card) {
			defer func() {
				<-gl.queue   // 完成时chan取出1个
				gl.wg.Done() // 完成时将等待组值减1
			}()
			// 查询业务,休眠100微妙,将值加入该记录中
			var balance = getBalance()
			data[k] = Card{
				Name:    card.Name,
				Balance: balance,
			}
		}(k, val)
	}
	gl.wg.Wait() // 等待所有任务完成
	log.Printf("数据:%+v", data)
}

通过使用chan,可以自己定义可协程最大数;现在看起来没有什么问题,但如果协程获取数据panic,会导致整个程序崩溃。

五、协程Panic处理

针对协程的panic(),我们需要接收,使用recover处理

func main() {
	list := getList() // 获取卡列表数据
	var data = make([]Card, len(list), len(list))
	var gl = &pool{queue: make(chan int, 500), wg: &sync.WaitGroup{}} // 显示协程数最大500个
	for k, val := range list {
		gl.queue <- 1 // 每一个任务开始时, chan输入1个
		gl.wg.Add(1)  // 每一个任务开始时,将等待组增加1
		go func(k int, card Card) {
			// 解决协程panic,不至于程序崩溃
			defer func() {
				recover()
			}()
			defer func() {
				<-gl.queue   // 完成时chan取出1个
				gl.wg.Done() // 完成时将等待组值减1
			}()
			// 查询业务,休眠100微妙,将值加入该记录中
			var balance = getBalance()
			data[k] = Card{
				Name:    card.Name,
				Balance: balance,
			}
		}(k, val)
	}
	gl.wg.Wait() // 等待所有任务完成
	log.Printf("数据:%+v", data)
}
// 获取余额
func getBalance() float64 {
	panic("获取余额panic")
	time.Sleep(time.Millisecond * 100)
	return float64(rand.Int63n(1000))
}

在协程中使用defer recover();这样协程抛出来的panic被接受,不会导致程序奔溃。

总结

协程在处理数据数据通过使用更多资源提升效率协程过多会暂用其他服务资源,我们使用协程过多时需要考虑限制协程中panic需要处理,不然会导致程序崩溃

到此这篇关于Go语言协程处理数据有哪些问题的文章就介绍到这了,更多相关Go协程处理数据内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

您可能感兴趣的文档:

--结束END--

本文标题: Go语言协程处理数据有哪些问题

本文链接: https://www.lsjlt.com/news/196819.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Go语言协程处理数据有哪些问题
    目录前言一、Goroutine二、sync.WaitGroup三、数据排序四、限制协程数五、协程Panic处理总结前言 我们在开发后台项目常常会遇到一个情况,功能模块列表数据导出Ex...
    99+
    2023-02-20
    Go协程处理数据 Go协程处理 Go处理数据
  • Go语言协程处理数据问题怎么解决
    本篇内容主要讲解“Go语言协程处理数据问题怎么解决”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Go语言协程处理数据问题怎么解决”吧!一、Goroutine当然第一个想到可能是采用协程处理循环里...
    99+
    2023-07-05
  • go语言数据结构有哪些
    go语言有数组、切片、映射、链表、栈、队列、树、堆和图这些数据结构。1、数组,可以存储相同类型的元素;2、切片,可以根据需要自动扩展或缩小;3、映射,可以使用映射来实现字典、哈希表等数据结构;4、链表,每个节点包含数据和指向下一个节点的指针...
    99+
    2023-07-31
  • 面试官经常问到的Go语言数据类型问题有哪些?
    Go语言是一门越来越受欢迎的编程语言,它在各种场景下都表现出色。在面试中,面试官经常会问到关于Go语言数据类型的问题。本文将介绍几个常见的问题,并提供相应的演示代码。 基本数据类型 在Go语言中,基本数据类型包括bool、string、...
    99+
    2023-08-18
    数据类型 面试 git
  • 在Go语言中如何处理并发数据访问问题?
    在Go语言中,处理并发数据访问问题是一项非常重要的任务。由于Go语言的并发编程模型特性,我们可以很方便地实现并发读写操作。下面将介绍一些常见的处理并发数据访问问题的方法,并给出具体的代码示例。互斥锁(Mutex)互斥锁是Go语言中最常用的处...
    99+
    2023-10-22
    互斥锁(Mutex) 读写锁(RWMutex) 通道(Channel)
  • Go语言数据类型有哪些
    这期内容当中小编将会给大家带来有关Go语言数据类型有哪些,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。基本数据类型说明类型描述uint32位或64位uint8无符号 8 ...
    99+
    2024-04-02
  • go语言中协程与线程的区别有哪些
    这篇文章主要介绍“go语言中协程与线程的区别有哪些”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“go语言中协程与线程的区别有哪些”文章能帮助大家解决问题。区别:1、一个线程可以多个协程,一个进程也可...
    99+
    2023-07-05
  • 使用GO语言编写高效的大数据处理程序需要注意哪些问题?
    随着大数据时代的到来,数据处理已经成为了现代软件开发中的一个重要问题。为了能够高效地处理海量数据,许多开发者都开始采用GO语言编写大数据处理程序。GO语言是一种开源的编程语言,它具有高效、简洁、安全等特点,非常适合用于大数据处理。 然而,...
    99+
    2023-08-20
    大数据 自然语言处理 http
  • go语言有哪些好处
    这篇文章主要介绍“go语言有哪些好处”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“go语言有哪些好处”文章能帮助大家解决问题。go语言的好处:1、可直接编译成机器码,不依赖其他库;2、静态类型语言,...
    99+
    2023-07-05
  • go语言中数据类型有哪些
    这篇文章将为大家详细讲解有关go语言中数据类型有哪些,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。go语言的数据类型有:1、布尔型;2、数值类型(可分为整型和浮点型);3、字符串类型;4、指...
    99+
    2023-06-15
  • go语言的数据结构有哪些
    go语言数据结构有数组、切片、映射、结构体、通道、接口、函数等等。详细介绍:1、数组(Array):一组固定长度的相同类型元素的集合;2、切片(Slice):基于数组的动态长度序列,可以根据需要动态增长或缩减;3、映射(Map):一种键值对...
    99+
    2023-12-14
    go语言 数据结构
  • go语言的数据类型有哪些
    go语言的数据类型有基本数据类型、复合数据类型、引用类型和特殊数据类型等。详细介绍:1、基本数据类型有bool、int、uint、float32、float64、complex64等;2、复合数据类型有string、array、slice、...
    99+
    2023-07-31
  • 如何处理Go语言中的并发应用层协议问题
    在Go语言中处理并发应用层协议问题可以通过以下方法:1. 使用Go语言的并发原语:Go语言提供了很多并发原语,如goroutine、...
    99+
    2023-10-09
    Go语言
  • JavaScript数据处理的常见问题有哪些
    这篇文章主要介绍“JavaScript数据处理的常见问题有哪些”,在日常操作中,相信很多人在JavaScript数据处理的常见问题有哪些问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大...
    99+
    2024-04-02
  • Go语言中如何处理并发数据库数据一致性问题?
    Go语言中如何处理并发数据库数据一致性问题?当多个并发请求同时访问数据库时,会引发数据一致性问题。在Go语言中,我们可以使用事务和锁来处理这个问题。下面我将详细介绍如何在Go语言中处理并发数据库数据一致性问题,并给出具体的代码示例。首先,我...
    99+
    2023-10-22
    数据库 并发 一致性
  • 如何处理Go语言中的并发应用层协议问题?
    如何处理Go语言中的并发应用层协议问题?在开发应用程序时,我们经常会遇到并发处理的问题。并发是指多个任务同时执行,这在提高程序性能和响应速度方面非常重要。Go语言作为一门支持高并发的编程语言,提供了一些强大的并发处理机制。在处理并发应用层协...
    99+
    2023-10-22
    Go并发处理 应用层协议 Go语言处理
  • 大数据处理中,Go语言同步机制的应用有哪些?
    随着大数据时代的到来,数据处理已经成为了越来越多企业的重要业务。在这样的背景下,Go语言同步机制的应用也变得尤为重要。本文将从Go语言的同步机制入手,介绍它在大数据处理中的应用,并演示一些相关的代码。 一、Go语言同步机制的概述 Go语言是...
    99+
    2023-06-16
    大数据 并发 同步
  • 用Go语言和NumPy实现实时数据处理,有哪些挑战?
    随着大数据时代的到来,实时数据处理变得越来越重要。在实时数据处理中,Go语言和NumPy是两个非常流行的工具。Go语言是一种强类型、静态编译语言,具有高效、简洁、并发的特点。而NumPy是一个用于科学计算的Python库,具有高效的数组处...
    99+
    2023-06-22
    numy numpy 实时
  • Go语言中的数据类型有哪些?
    作为一门现代的编程语言,Go语言提供了多种数据类型来支持不同的编程需求。本文将对Go语言中常见的数据类型进行介绍,并附上演示代码。 布尔型(bool) 布尔型数据类型只有两个值:true和false。在Go语言中,布尔型通常用于条件判...
    99+
    2023-08-13
    数据类型 教程 函数
  • 如何处理Go语言中的并发数据库操作问题?
    如何处理 Go 语言中的并发数据库操作问题?在 Go 语言中,处理并发数据库操作是一个常见的挑战。由于数据库访问通常是一个相对较慢的操作,所以在多个 Goroutine 中同时执行数据库操作可能会导致一些问题,如数据竞争和性能下降。在本文中...
    99+
    2023-10-22
    数据竞争问题
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作