iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > GO >golang http使用踩过的坑与填坑指南
  • 924
分享到

golang http使用踩过的坑与填坑指南

2024-04-02 19:04:59 924人浏览 八月长安
摘要

golang对Http进行了很好的封装, 使我们在开发基于http服务的时候, 十分的方便, 但是良好的封装, 很容易是的我们忽略掉它们底层的实现细节。 如下是我踩过的一些坑, 以及

golangHttp进行了很好的封装, 使我们在开发基于http服务的时候, 十分的方便, 但是良好的封装, 很容易是的我们忽略掉它们底层的实现细节。

如下是我踩过的一些坑, 以及相应的解决方法。

调用http服务

通常的实践如下:


resp, err := http.Get("http://example.com/")
if err != nil {
               // handle error
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
// ...

陷阱一: Response body没有及时关闭

网络程序运行中, 过了一段时间, 比较常见的问题就是爆出错误:“Socket: too many open files”, 这通常是由于打开的文件句柄没有关闭造成的。

在http使用中, 最容易让人忽视的, 就是http返回的response的body必须close,否则就会有内存泄露。

更不容易发现的问题是, 如果response.body的内容没有被读出来, 会造成socket链接泄露, 后续的服务无法使用。

这里, response.body是一个io.ReadCloser类型的接口, 包含了read和close接口。


 type Response struct { 
    // Body represents the response body.
    //
    // The response body is streamed on demand as the Body field
    // is read. If the network connection fails or the server
    // terminates the response, Body.Read calls return an error.
    //
    // The http Client and Transport guarantee that Body is always
    // non-nil, even on responses without a body or responses with
    // a zero-length body. It is the caller's responsibility to
    // close Body. The default HTTP client's Transport may not
    // reuse HTTP/1.x "keep-alive" tcp connections if the Body is
    // not read to completion and closed.
    //
    // The Body is automatically dechunked if the server replied
    // with a "chunked" Transfer-Encoding.
    Body io.ReadCloser
 }

如果没有通过ioutil.ReadAll或者其他的接口读取response.body的内容, 此次socket链接就无法被后续的连接复用, 造成的结果就是该连接一直存在。

尽管调用了ioutil.ReadAll就可以避免该连接的泄露, 我们还是建议在获取response后, 就调用Close, 因为在response返回的地方与ReadAll之间, 万一有条件判断造成接口提前返回, 还是会造成泄露的。


defer resp.Body.Close()

另外, http.Request是不需要主动关闭的。

陷阱二: 默认的http的transport的设定不合适

在简单的应用下, 采用默认的http client就可以满足需要, 在稍微复杂一点的场景, 有其实想要保持长链接以及提高链接复用的效率等方面的控制, 这个时候就需要对client比较清楚的了解。


type Client struct {
    // Transport specifies the mechanism by which individual
    // HTTP requests are made.
    // If nil, DefaultTransport is used.
    Transport RoundTripper  
    // Timeout specifies a time limit for requests made by this
    // Client. The timeout includes connection time, any
    // redirects, and reading the response body. The timer remains
    // running after Get, Head, Post, or Do return and will
    // interrupt reading of the Response.Body.
    //
    // A Timeout of zero means no timeout.
    //
    // The Client cancels requests to the underlying Transport
    // as if the Request's Context ended.
    //
    // For compatibility, the Client will also use the deprecated
    // CancelRequest method on Transport if found. New
    // RoundTripper implementations should use the Request's Context
    // for cancelation instead of implementing CancelRequest.
    Timeout time.Duration
}

这里, 我们重点关注Transport与Timeout两个字段, Transport记录了本次请求的事务信息, 以及连接复用相关的信息。

Timeout记录此次调用的超时时间以避免异常发生的时候的长时间等待。

通常我们使用的默认的Transport定义如下:


var DefaultTransport RoundTripper = &Transport{
    Proxy: ProxyFromEnvironment,
    DialContext: (&net.Dialer{
        Timeout:   30 * time.Second,
        KeepAlive: 30 * time.Second,
        DualStack: true,
    }).DialContext,
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    TLSHandshakeTimeout:   10 * time.Second,
    ExpectContinueTimeout: 1 * time.Second,
}

默认情况下, 它会保留打开的连接以备未来复用, 如果服务要连接很多的主机, 就会保存很多的空闲连接, IdleConnTimeout用来将超过一定时间的空闲连接回收;实际上, Defaulttransport 的MaxIdleConns是100, 在很多的场景下还是偏小的, 尤其是对于需要管理大的系统并且模块之间交互频繁的情况。

另外, 如果该连接需要定期 访问很多的资源节点, 并列我们知道每个资源节点上面需要的连接数大于2, 那么就会出现很多的短连接, 因为对于每一台资源机, DefaultTransport默认的最大连接数是2, 最大空闲连接是1.


 type Transport struct {
     // MaxIdleConnsPerHost, if non-zero, controls the maximum idle
    // (keep-alive) connections to keep per-host. If zero,
    // DefaultMaxIdleConnsPerHost is used.
    MaxIdleConnsPerHost int
    
    // MaxConnsPerHost optionally limits the total number of
    // connections per host, including connections in the dialing,
    // active, and idle states. On limit violation, dials will block.
    //
    // Zero means no limit.
    //
    // For HTTP/2, this currently only controls the number of new
    // connections being created at a time, instead of the total
    // number. In practice, hosts using HTTP/2 only have about one
    // idle connection, though.
    MaxConnsPerHost int
}

HTTP的长连接与TCP的长连接

在http1.1中, http默认保持长连接, 以备将来复用, 但是这个长连接通常是有时间限制的, 并且向我们上面开到的Transport里面的设定, 空闲的连接数是有最大限制的, 超过了该限制,其余新的连接就变成了短连接。

TCP协议本身是长连接, 它超过一定时间没有数据传送, 就会发送心跳来检测该连接是否存活, 如果是, 该连接继续有效。

补充:golang 设置 http response 响应头的内容与坑

Golang 写 http server 时,可以很方便可通过 w.Header.Set(k, v) 来设置 http response 中 header 的内容。

例如:w.Header().Set("Access-Control-Allow-Origin", "*") 。

但是需要特别注意的是某些时候不仅要修改 http header ,还要修改 http status code。

修改 http status code 可以通过:w.WriteHeader(code) 来实现,例如:w.WriteHeader(404) 。

如果这两种修改一起做,就必须让 w.WriteHeader 在所有的 w.Header.Set 之后,也就是 w.WriteHeader 后 Set Header 是无效的。

今天就遇到了这个问题,在一段代码中调用 w.Header.Set,怎么折腾都无效,最后才发现其它代码段中先调用了 w.WriteHeader。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。如有错误或未考虑完全的地方,望不吝赐教。

您可能感兴趣的文档:

--结束END--

本文标题: golang http使用踩过的坑与填坑指南

本文链接: https://www.lsjlt.com/news/124736.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • golang http使用踩过的坑与填坑指南
    golang对http进行了很好的封装, 使我们在开发基于http服务的时候, 十分的方便, 但是良好的封装, 很容易是的我们忽略掉它们底层的实现细节。 如下是我踩过的一些坑, 以及...
    99+
    2024-04-02
  • Redis Cluster集群主从切换的踩坑与填坑
    因为项目的原因采用了Redis Cluster,3主3从,每台主机1主1从,集群信息如下: 10.135.255.72:20011> cluster nodes 7b662b...
    99+
    2024-04-02
  • 基于log4j2.properties踩坑与填坑的示例分析
    这篇文章主要介绍基于log4j2.properties踩坑与填坑的示例分析,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!log4j2.properties踩坑与填坑日志配置门面模式:slf4j日志库:log4j2引入...
    99+
    2023-06-22
  • Docker 安装Jenkins全过程及踩坑指南
    目录Docker 安装 Jenkins1. 安装过程2. Jenkins 安装 npm2.1. 替换容器的源2.2. 安装nodejs和npm3. Jenkins流水线 + Dock...
    99+
    2024-04-02
  • SpringRestTemplate的使用与踩坑
    目录引言项目使用踩坑记录引言 最近的项目需求中有使用到后端发送http请求,在网上寻找资料后发现可以使用spring自带的RestTemplate类实现,故作此记录 项目使用 将下述...
    99+
    2023-02-10
    Spring RestTemplate Spring RestTemplate基本使用
  • vue使用节流函数的踩坑实例指南
    前言 一个常见的业务场景,我们要在input搜索框输入结束后,发送相关请求,获取搜索数据。频繁的事件触发会导致接口请求过于频繁。所以需要我们对此加以限制,来禁止不必要的请求,以免资...
    99+
    2024-04-02
  • VUE使用中踩过的坑有哪些
    小编给大家分享一下VUE使用中踩过的坑有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!1.路由变化页面数据不刷新问题出现这种...
    99+
    2024-04-02
  • Python使用ClickHouse的实践与踩坑记录
    目录1. 关于ClickHouse使用实践1.1. ClickHouse 应用于数据仓库场景1.2. 客户端工具DBeaver1.3. 大数据应用实践2. Python使用Click...
    99+
    2024-04-02
  • jpa使用manyToOne(opntional=true)踩过的坑及解决
    目录jpa使用manyToOne(opntional=true)踩坑@ManyToOne用于一对多的情况@manytoone设置为optional=true不起作用@manytoon...
    99+
    2024-04-02
  • go语言 nil使用避坑指南
    目录引言nil默认值nil (重点记住)nil没有默认类型不同类型的nil值占用的内存大小可能是不一样的不同类型 nil 的指针是一样的不同类型的 nil 是不能比较的引言 今天笔试...
    99+
    2024-04-02
  • 记一次使用nacos2踩到的坑
    前言 本文素材来源朋友学习nacos2.1.1踩到的坑。直接上正菜 坑点一:出现端口被占用 因为是学习使用,朋友就在物理机搭建了搭建了nacos伪集群,即ip都一样,端口分别为8848,8847,88...
    99+
    2023-09-17
    nginx 服务器 运维 springcloud
  • 记一次go语言使用time.Duration类型踩过的坑
    目录01 踩到的坑02 time.Duration的真实面目03 问题解决04 time.Duration编程实践05 总结01 踩到的坑 先来说说在项目中踩到的使用time.Dur...
    99+
    2024-04-02
  • 详解vue-socket.io使用教程与踩坑记录
    目录前言我遇到的问题使用教程安装引入(main.js)使用(Page.vue)解决方案结合connect事件+store+路由守卫实现拦截请先允许我狠狠吐个槽:vue-socket....
    99+
    2024-04-02
  • Java中BigDecimal使用注意避坑指南
    目录前言一. BigDecimal的初始化精度丢失问题二. BigDecimal在进行除法运算时需设置精度,否则对于除不尽的情况会抛出异常三. 不要使用BigDecimal的equa...
    99+
    2023-02-20
    java bigdecimal用法 bigdecimal类型数据处理 java中bigdecimal
  • Go使用proto3的踩坑实战记录
    开发环境:windows10,golang1.18.2,goland2022.2 最近在写项目时,一些数据类的结构以protobuf文件给定。因此,需要将这些protobuf文件转换...
    99+
    2023-02-13
    go proto3 go使用proto3
  • 关于vue2使用swiper4的踩坑记录
    目录前言踩坑1:为了保证稳定,每次在package.json更该版本,最好立即下载当前版本,随后重启webstorm。踩坑2:引入位置踩坑3:使用空间,如果是轮播图内套轮播图,则需要...
    99+
    2024-04-02
  • vue2使用swiper4踩坑的示例分析
    vue2使用swiper4踩坑的示例分析,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。前言一开始打算采用最新的swiper7,后来好像是vue2兼容性问题,各种报错,所以从...
    99+
    2023-06-26
  • vue3使用socket.io的踩坑实战记录
    目录问题一:vue-socket.io与socket.io的区别一、socket.io二、vue-socket.io问题二:受同源策略的影响,怎样跨域总结我们的项目出现聊天室、客服等...
    99+
    2023-03-19
    vue3 socket.io vue3使用socket.io
  • vue使用element-ui按需引入时踩过的那些坑
    众所周知,使用element-ui,为了达到减小项目体积的目的 ,我们在实际项目中更多的是采用按需引入的方法, 下面就来讲讲那些我踩过的坑。 步骤: 第一步:安装 element-u...
    99+
    2024-04-02
  • 关于远程调用RestTemplate的使用避坑指南
    目录一、前言介绍二、 问题记录1. 慎!【url参数中有json字符串】2. 慎!【url参数中有经过URLEncode的字符串】3. 慎!【url参数中存在特殊字符】 --- 针对...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作