Python 爬虫使用代理 IP 的正确方法

代理 IP 是爬虫中非常常用的方法，可以避免因为频繁请求而被封禁。下面是 python 爬虫使用代理 IP 的正确方法：

选择可靠的代理 IP 供应商，购买或者免费使用代理 IP 列表。
2. 在爬虫中使用第三方库 requests ，并在 requests.get() 或 requests.post() 请求时添加代理 IP 参数，例如：

import requests

proxies = {
    "Http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}

response = requests.get(url, proxies=proxies)
 

其中，http 和 https 表示协议，10.10.1.10:3128 和 10.10.1.10:1080 是代理 IP 地址和端口，需要根据代理 IP 供应商提供的参数进行修改。

特别需要注意的是，如果使用的是高匿代理 IP，需要在请求头中添加 User-Agent 参数，以免被认为是机器请求。例如：

headers = {
    "User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"
}

response = requests.get(url, headers=headers, proxies=proxies)
 

以上是代理 IP 在 Python 爬虫中的正确使用方法，希望能对你有所帮助。

来源地址：https://blog.csdn.net/wq2008best/article/details/130698378