广告
返回顶部
首页 > 资讯 > 后端开发 > GO >go语言分布式id生成器及分布式锁介绍
  • 164
分享到

go语言分布式id生成器及分布式锁介绍

go 分布式id生成器 锁go 分布式锁 2023-05-14 17:05:40 164人浏览 安东尼
摘要

目录分布式 id 生成器worker_id 如何分配开源示例:标准雪花算法分布式锁进程内加锁尝试加锁 tryLock基于 Redis 的 setnx 分布式锁基于 ZooKeeper

分布式 id 生成器

在分布式场景中,唯一 id 的生成算比较重要。

而通常在高并发场景中,需要类似 Mysql 自增 id 一样不断增长且又不会重复的 id,即 mysql 的主键 id。

比如,在电商 618 或者双 11 搞活动的时候,一般在 0 点 开始,会有千万到亿级的订单量写入,每秒大概需要处理 10 万加的订单。

而在将订单插入数据库之前,我们在业务上需要给订单一个唯一的 id,即利用 idMaker 生存唯一的订单号,再插入数据库内。如果生成的 id 是随机且没有含义的纯数字的话,在大订单量的情况下,对数据库进行增删改查时就不能起到提高效率的作用。所以 此 id 应该应该包含一些时间信息,机器信息等,这样即使后端的系统对消息进行了分库分表,也能够以时间顺序对这些消息进行排序了。

比较典型的就是推特的【雪花算法】了,在以上场景下可以算是最优解,原理如图:

首先确定的是,id 数值长度是 64 位,int64 类型,除去开头的符号位 unused ,其它可以分为四个部分:

  • 41 位来表示收到请求时的时间戳,单位为毫秒
  • 5 位表示数据中心的 id
  • 5 位表求机器的实例 id
  • 12 位为循环自增 id,到达 1111,1111,1111 后归就会 0

以上机制原理生成的 id,可以支持一台机器在一毫秒内能够产生 4096 条消息。也就是一秒共 409.6w 条消息。单单从值域上来讲是完全够用。

数据中心 id 加上实例 id 共有 10 位,每个数据中心可以部署 32 台实例,搭建 32 个数据中心,所以可以一共部署 1024 台实例。

而 41 位的时间戳(毫秒为单位)能够使用 69 年。

worker_id 如何分配

timestamp(时间戳),datacenter_id(数据中心),worker_id(机器 ID) 和 sequence_id(序号) 这四个字段中,timestamp 和 sequence_id 是由程序在运行期生成的。但 datacenter_id 和 worker_id 需要在部署阶段就要能够获取得到,并且一旦程序启动之后,就是不可更改的了,因为如果可以随意更改,可能会造成最终生成的 id 有冲突。

不过一般不同数据中心的机器,会提供对应的获取数据中心 id 的 api,因此 datacenter_id 我们可以在部署阶段轻松地获取到。而 worker_id 是我们逻辑上给机器分配的一个 id,比较简单的做法就是由能够提供这种自增 id 功能的工具来支持,比如 Mysql:

mysql> insert into a (ip) values("10.115.4.66");
Query OK, 1 row affected (0.00 sec)
mysql> select last_insert_id();
+------------------+
| last_insert_id() |
+------------------+
|                2 |
+------------------+
1 row in set (0.00 sec)

从 MySql 中获取到 worker_id 之后,就把这个 worker_id 直接持久化到本地,以避免每次上线时都需要获取新的 worker_id。让单实例的 worker_id 可以始终保持不变。

但是,使用 MySQL 的话,相当于给 id 生成服务增加了一个外部依赖。当然依赖越多,服务的运维成本就会增加。

考虑到集群中即使有单个 id 生成服务的实例挂了,也就是损失一段时间的一部分 id,所以我们也可以更简单暴力一些,把 worker_id 直接写在 worker 的配置中,上线时,由部署脚本完成 worker_id 字段替换即可。

开源示例:标准雪花算法

GitHub.com/bwmarrin/snowflake 是一个相对轻量级的 snowflake 的 Go 实现。其文档对各位使用的定义如下图所示:

此库和标准的 snowflake 实现方式全完一致,使用也比较简单,直接上示例代码:

package main
import (
  "fmt"
 "github.com/bwmarrin/snowflake"
)
func main() {
 node, err := snowflake.NewNode(1)
 if err != nil {
  println(err.Error())
  os.Exit(1)
 }
 for i := 0; i < 20; i++ {
  id := node.Generate()
  fmt.Printf("Int64  ID: %d\n", id)
  fmt.Printf("String ID: %s\n", id)
  fmt.Printf("ID Time  : %d\n", id.Time())
  fmt.Printf("ID Node  : %d\n", id.Node())
  fmt.Printf("ID Step  : %d\n", id.Step())
  fmt.Println("--------- end ----------")
 }
}

分布式锁

单机程序并发或并行修改全局共享变量时,需要对修改行为加锁。因为如果不加锁,多个协程序就会对该变量竞争,然后得到的结果就会不准确,或者说得到的结果不是我们所预期的,比如下面的例子:

package main
func main() {
 var wg sync.WaitGroup
 var count = 0
 for i := 1; i < 1000; i++ {
  wg.Add(1)
  go func() {
   defer wg.Done()
   count++
  }()
 }
 wg.Wait()
 fmt.Println(count)
}

多次运行结果不同:

➜  go run main.go
884
➜  go run main.go
957
➜  go run main.go
923

预期的结果是:999

进程内加锁

而如果想要得到正确(预期)的结果,要把计数器的操作代码部分加上锁:

package main
import (
 "fmt"
 "sync"
)
func main() {
 var wg sync.WaitGroup
 var lock sync.Mutex
 var count = 0
 for i := 1; i < 1000; i++ {
  wg.Add(1)
  go func() {
   defer wg.Done()
   lock.Lock()  // 加锁
   count++
   lock.Unlock()  // 释放锁
  }()
 }
 wg.Wait()
 fmt.Println(count)
}

这样能够得到正确结果:

➜  go run main.go
999

尝试加锁 tryLock

在某些场景,我们往往只希望一个任务有单一的执行者,而不像计数器一样,所有的 Goroutine 都成功执行。后续的 Goroutine 在抢锁失败后,需要放弃执行,这时候就需要用到尝试加锁,即实现 trylock

尝试加锁,在加锁成功后执行后续流程,失败时不可以阻塞,而是直接返回加锁的结果。

在 Go 语言中可以用大小为 1 的 Channel 来模拟 trylock:

package main
import (
  "fmt"
  "sync"
)
type MyLock struct {
 lockCh chan struct{}
}
func NewLock() MyLock {
 var myLock MyLock
 myLock = MyLock{
  lockCh:make(chan struct{}, 1),
 }
 myLock.lockCh <- struct{}{}
 return myLock
}
func (l *MyLock) Lock() bool {
 result := false
 select {
 case <-l.lockCh:
  result = true
 default:  // 这里去掉就会阻塞,直到获取到锁
 }
 return result
}
func (l *MyLock) Unlock() {
 l.lockCh <- struct{}{}
}
func main() {
 var wg sync.WaitGroup
 var count int
 l := NewLock()
 for i := 0; i < 10; i++ {
  wg.Add(1)
  go func() {
   defer wg.Done()
   if !l.Lock() {
    fmt.Println("get lock failed")
    return
   }
   count++
   fmt.Println("count=", count)
   l.Unlock()
  }()
 }
 wg.Wait()
}

每个 Goruntine 只有获取到锁(成功执行了 Lock)才会继续执行后续代码,然后在 Unlock()时可以保证 Lock 结构体里的 Channel 一定是空的,所以不会阻塞也不会失败。

在单机系统中,tryLock 并不是一个好选择,因为大量的 Goruntine 抢锁会无意义地占用 cpu 资源,这就是活锁,所有不建议使用这种锁。

基于 Redis 的 setnx 分布式锁

在分布式场景中,也需要“抢占”的逻辑,可以用 Redis 的 setnx 实现:

package main
import (
 "github.com/go-redis/redis"
 "sync"
 "time"
)
func setnx() {
 client := redis.NewClient(&redis.Options{})
 var lockKey = "counter_lock"
 var counterKey = "counter"
 // lock
 resp := client.SetNX(lockKey, 1, time.Second*6)
 lockStatus, err := resp.Result()
 if err != nil || !lockStatus {
  println("lock failed")
  return
 }
 // counter++
 getResp := client.Get(counterKey)
 cntValue, err := getResp.Int64()
 if err == nil || err == redis.Nil {
  cntValue++
  resp := client.Set(counterKey, cntValue, 0)
  _, err := resp.Result()
  if err != nil {
   println(err)
  }
 }
 println("current counter is ", cntValue)
 // unlock
 delResp := client.Del(lockKey)
 unlockStatus, err := delResp.Result()
 if err == nil && unlockStatus > 0 {
  println("unlock success")
 } else {
  println("unlock failed", err)
 }
}
func main() {
 var wg sync.WaitGroup
 for i := 0; i < 10; i++ {
  wg.Add(1)
  go func() {
   defer wg.Done()
   setnx()
  }()
 }
 wg.Wait()
}

运行结果:

➜  go run main.go
lock failed
lock failed
lock failed
lock failed
lock failed
current counter is  34
lock failed
unlock success

通过上面的代码和执行结果可以看到,远程调用 setnx 运行流程上和单机的 troLock 非常相似,如果获取锁失败,那么相关的任务逻辑就不会继续向后执行。

setnx 很适合高并发场景下用来争抢一些“唯一”的资源。比如,商城秒杀的商品,在某个时间点,多个买家会对其进行下单并发争抢。这种场景我们没有办法依赖具体的时间来判断先后,因为不同设备的时间不能保证使用的是统一的时间,也就不能保证时序。

所以,我们需要依赖于这些请求到达 redis 节点的顺序来做正确的抢锁操作。

如果用户的网络环境比较差,是有可能抢不到的。

基于 ZooKeeper 分布式锁

基于 ZooKeeper 的锁与基于 Redis 的锁有点类似,不同之处在于 Lock 成功之前会一直阻塞,这与单机场景中的 mutex.Lock 很相似。

package main
import (
 "github.com/go-zookeeper/zk"
 "time"
)
func main() {
 c, _, err := zk.Connect([]string{"127.0.0.1"}, time.Second)
 if err != nil {
  panic(err)
 }
 l := zk.NewLock(c, "/lock", zk.WorldACL(zk.PermAll))
 err = l.Lock()
 if err != nil {
  panic(err)
 }
 println("lock success, do your business logic")
 time.Sleep(time.Second * 10) // 模拟业务处理
 l.Unlock()
 println("unlock success, finish business logic")
}

其原理也是基于临时 Sequence 节点和 watch API,例如我们这里使用的是 /lock 节点。

Lock 会在该节点下的节点列表中插入自己的值,只要节点下的子节点发生变化,就会通知所有 watch 该节点的程序。这时候程序会检查当前节点下最小的子节点的 id 是否与自己的一致。如果一致,说明加锁成功了。

这种分布式的阻塞锁比较适合分布式任务调度场景,但不适合高频次持锁时间短的抢锁场景。

一般基于强一致协议的锁适用于粗粒度的加锁操作。这里的粗粒度指锁占用时间较长。我们在使用时也应思考在自己的业务场景中使用是否合适。

总结

本期主要介绍了分布式 id 的使用场景、分布式 id 如何生成的,以及分布式锁和使用。

  • 雪花算法介绍和实现
  • 分布式锁介绍和相关实现

以上就是go语言分布式id生成器及分布式锁介绍的详细内容,更多关于go 分布式id生成器 锁的资料请关注编程网其它相关文章!

您可能感兴趣的文档:

--结束END--

本文标题: go语言分布式id生成器及分布式锁介绍

本文链接: https://www.lsjlt.com/news/203327.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • go语言分布式id生成器及分布式锁介绍
    目录分布式 id 生成器worker_id 如何分配开源示例:标准雪花算法分布式锁进程内加锁尝试加锁 tryLock基于 Redis 的 setnx 分布式锁基于 ZooKeeper...
    99+
    2023-05-14
    go 分布式id生成器 锁 go 分布式锁
  • go语言分布式id生成器及分布式锁源码分析
    本文小编为大家详细介绍“go语言分布式id生成器及分布式锁源码分析”,内容详细,步骤清晰,细节处理妥当,希望这篇“go语言分布式id生成器及分布式锁源码分析”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。分布式 i...
    99+
    2023-07-05
  • Go语言实现分布式锁
    目录1. go实现分布式锁1.1 redis_lock.go1.2 retry.go1.3 lock.lua1.4 lua_unlock.lua1.5 refresh.lua1.6 ...
    99+
    2023-01-14
    Go分布式锁 Go锁原理
  • 什么是分布式ID生成器Tinyid
    本篇内容介绍了“什么是分布式ID生成器Tinyid”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!Tinyi...
    99+
    2022-10-18
  • 基于Redis实现分布式单号及分布式ID(自定义规则生成)
    目录背景Redis实现方式代码实例单号生成枚举单号生成工具类单号生成接口单号生成接口实现使用测试总结背景 一些业务背景下,业务要求单号需要有区分不同的前缀,那么在分布式的架构下如何自...
    99+
    2022-11-12
  • Go开源项目分布式唯一ID生成系统
    目录前言项目背景项目使用HTTP 方式gRPC 方式本地开发项目架构前言 今天跟大家介绍一个开源项目:id-maker,主要功能是用来在分布式环境下生成唯一 ID。上周停更了一周,也...
    99+
    2022-11-13
  • Go 语言下基于Redis分布式锁的实现方式
    分布式锁一般有三种实现方式:1. 数据库乐观锁;2. 基于Redis的分布式锁;3. 基于ZooKeeper的分布式锁。本篇博客将介绍第二种方式,基于Redis实现分布式锁。虽然网上...
    99+
    2022-11-12
  • Go实现分布式唯一ID的生成之雪花算法
    目录背景:特性:雪花算法:分布式唯一ID的生成 背景: 在分布式架构下,唯一序列号生成是我们在设计一个尤其是数据库使用分库分表的时候会常见的一个问题 特性: 全局唯一,这是基本要求,...
    99+
    2022-11-13
  • 如何利用Redis和Go语言实现分布式锁功能
    如何利用Redis和Go语言实现分布式锁功能引言:在分布式系统中,为了保证数据的一致性和并发安全,经常需要使用分布式锁来实现资源的互斥访问。本文将介绍如何利用Redis和Go语言实现分布式锁功能,并提供具体的代码示例。一、什么是分布式锁分布...
    99+
    2023-10-22
    Go语言 redis 分布式锁
  • 分布式日志处理,为何Go语言成为了首选?
    随着互联网和云计算技术的快速发展,越来越多的应用程序需要处理大量的日志数据。而分布式日志处理是一种常用的解决方案,它可以将日志数据分散到多个节点上进行处理,提高处理效率和可靠性。而在众多编程语言中,为什么Go语言成为了分布式日志处理的首选...
    99+
    2023-09-30
    分布式 日志 http
  • Go语言在容器化时如何处理对象分布式?
    随着云计算和容器技术的发展,分布式系统已经成为了一个不可避免的趋势。在这个过程中,Go语言作为一种高效、简洁、易于使用的编程语言,也得到了越来越多的关注。本文将介绍Go语言在容器化时如何处理对象分布式,并提供一些示例代码。 一、什么是对象...
    99+
    2023-06-27
    容器 对象 分布式
  • Go语言在云计算中如何处理分布式锁和同步问题?
    近年来,随着云计算的快速发展,分布式系统逐渐成为云计算的重要组成部分。在分布式系统中,各个节点之间是相互独立的,因此需要一种机制来协调不同节点之间的操作,保证系统的正确性和一致性。其中最重要的机制之一就是分布式锁和同步。本文将介绍如何在Go...
    99+
    2023-05-21
    Go语言 分布式锁 同步问题
  • 分布式实时 API 的未来:Go 语言能否成为最佳选择?
    在当今的互联网时代,分布式实时 API 已经成为了各大互联网公司必不可少的基础设施。而在这个领域中,Go 语言作为一种高效、并发性强的编程语言,是否能成为最佳选择呢? Go 语言的优点 Go 语言的优点在于其高效、并发性强、跨平台等特点。...
    99+
    2023-11-05
    分布式 api 实时
  • 如何利用Redis和Go语言实现分布式计数器功能
    如何利用Redis和Go语言实现分布式计数器功能介绍:在分布式系统中,计数器是一种常见的功能需求。分布式计数器可以用于统计网站的访问量、消息队列的消费次数等场景下。Redis是一种高性能的内存数据库,而Go语言是一种轻量级的编程语言,结合这...
    99+
    2023-10-22
    Go语言 redis 分布式计数器
  • 异步编程和分布式负载:Go语言的秘密武器是什么?
    随着互联网的普及,越来越多的应用程序需要同时处理数以千计的请求。这种高并发的情况下,传统的同步编程模型很难满足应用程序的需求,因为同步模型会阻塞线程,导致性能下降。异步编程模型则可以在处理请求时不会阻塞线程,从而提高性能。Go语言作为一门...
    99+
    2023-10-23
    异步编程 load 分布式
  • 想要成为分布式系统的专家?LeetCode和Go语言是您的得力助手!
    分布式系统是当今互联网时代中的重要组成部分,而成为分布式系统的专家需要具备扎实的编程技能和深入的理解。在这篇文章中,我们将介绍如何通过LeetCode和Go语言来提高您的分布式系统技能,让您成为一个真正的专家。 一、LeetCode与分布式...
    99+
    2023-10-12
    leetcode 分布式 关键字
  • Go语言在分布式计算中的优势:成为大数据处理的新选择?
    随着大数据时代的到来,分布式计算成为了一个越来越重要的领域。分布式计算涉及到处理大量的数据,需要高效地进行数据交换和处理,同时还要保证计算的正确性和稳定性。而对于这样的需求,Go语言可能会成为一个新的选择。 Go语言是谷歌开发的一种编程语...
    99+
    2023-07-26
    大数据 unix 分布式
  • Go语言的容器技术:如何将对象分布式地部署在集群中?
    随着云计算和容器化技术的不断发展,分布式系统已经成为了现代软件开发中的一种常见模式。而Go语言以其高效、可靠和简洁的特性,已经成为了构建分布式系统的一种首选语言。在本文中,我们将介绍Go语言的容器技术,以及如何使用这些技术将对象分布式地部...
    99+
    2023-06-27
    容器 对象 分布式
  • Go语言的容器技术如何优化对象在分布式系统中的传输?
    随着分布式系统的普及,网络通信成为了系统中不可或缺的一部分。在分布式系统中,节点之间的通信数据量很大,而且网络通信的延迟也是一个必须要考虑的问题。这就需要我们优化对象在分布式系统中的传输。而Go语言的容器技术就是一个很好的解决方案。 Go...
    99+
    2023-06-27
    容器 对象 分布式
  • 探索Go语言容器技术:如何实现对象在分布式系统中的高效传输?
    Go语言自身就是一种非常适合于构建高性能分布式系统的编程语言。而在构建分布式系统时,容器技术是不可或缺的一环。在本文中,我们将探讨如何利用Go语言的容器技术实现对象在分布式系统中的高效传输。 一、Go语言容器技术简介 Go语言提供了一系列容...
    99+
    2023-06-27
    容器 对象 分布式
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作