重构多线程HTTP客户端请求的程序

偷偷努力，悄无声息地变强，然后惊艳所有人！哈哈，小伙伴们又来学习啦~今天我将给大家介绍《重构多线程Http客户端请求的程序》，这篇文章主要会讲到等等知识点，不知道大家对其都有多少了解，下面我们就一起来看一吧！当然，非常希望大家能多多评论，给出合理的建议，我们一起学习，一起进步！

我正在阅读 Google places 包装器的文档，但它仅支持 google 附近搜索。这实际上并不是一个巨大的瓶颈。

我的脚本执行附近搜索以查找该区域的 place_id，然后继续执行地点详细信息查询以获取该特定 google 地图商家条目的所有数据。

这个 places details 查询是瓶颈所在，我希望能够得到一些关于我编写的脚本的反馈。

看起来它不是多线程的，但是当我将“线程数”从 1 增加到 40 时，我的示例脚本运行时间从 40 秒下降到 12 秒。

我必须进行大量的复制和粘贴以及反复试验才能使其正常工作。我非常感谢这里的帮助。

1. 为什么当我将线程数增加到 40 时，运行速度会更快？
2. 如何通过多线程加快速度？

package main

import (
    "sync"
    "bufio"
    "os"
    "fmt"
    "net/http"
    "time"
    "io/ioutil"
    "strings"
    "log"
    "crypto/tls"
    "googlemaps.GitHub.io/maps"
    "bytes"
    "encoding/JSON"
)

var threadCount = 40
var wg sync.WaitGroup

var api_key = "api_key"
var top_cities_gps = "./top_cities_gps"
var next_page_token = ""
var business_types = []string{"accounting", "art_gallery"}

var connector = &http.Transport{
    MaxIdleConns:       threadCount,
ring('\n')
      if err != nil {

          log.Fatalf("read file line error: %v", err)
          return
      }

      _ = line

            // alright! let's kick this up a notch, and start scraping!!! :D
            // looping all business types

            for i, s := range business_types {

                // now let's hit Google Places API for a NearbySearch!
                // 
                searchPlaces("", s, strings.TrimSpace(line))

        }
  }
}

func main() {
    GoGoogle()
}

解决方案

threadcount 命名错误。它仅用于设置 http 传输中的 maxidleconns。根据文档：

// MaxIdleConns controls the maximum number of idle (keep-alive)
 // connections across all hosts. Zero means no limit.

因此，当您将 threadcount 从 1 增加到 40 时，您就增加了保持活动连接的限制。从这个用法来看，将 threadcount 设置为 0 似乎会带来最佳结果。

我建议你完全摆脱 threadcount。

本篇关于《重构多线程HTTP客户端请求的程序》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于golang的相关知识，请关注编程网公众号！