iis服务器助手广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python3使用urllib抓取用户
  • 123
分享到

python3使用urllib抓取用户

用户urllib 2023-01-31 08:01:47 123人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

#python34 # -*- coding: utf-8 -*- import Http.cookiejar import urllib.error import urllib.parse import urllib.request

#python34
# -*- coding: utf-8 -*-

import Http.cookiejar
import urllib.error
import urllib.parse
import urllib.request

LOGIN_URL = r'http://......'
get_url = 'http://.......'  # 利用cookie请求访问另一个网址

username=input('用户名:')
passWord=input('密码:')
values = {'username': username, 'password': password}

postdata = urllib.parse.urlencode(values).encode()

headers = {
    'User-Agent':
    'Mozilla/5.0 (windows NT 6.1) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/58.0.3029.110 Safari/537.36'
}

cookie_filename = 'cookie_jar.txt'
cookie_jar = http.cookiejar.MozillaCookieJar(cookie_filename)
handler = urllib.request.HTTPCookieProcessor(cookie_jar)
opener = urllib.request.build_opener(handler)

request = urllib.request.Request(LOGIN_URL, postdata, headers)

try:
    response = opener.open(request)
    
    #将cookies保存到本地test.txt,便于读取
    cookies = list()
    for item in cookie_jar:
        cookies.append(item.name + '=' + item.value)
    print(cookies)
    with open('test.txt', 'w+', encoding='utf-8') as f:
        f.write(';'.join(cookies))
    
    #将cookies保存到本地cookie_jar.txt
    #cookie_jar.save(ignore_discard=True, ignore_expires=True)
except urllib.error.URLError as e:
    print(e.code, ':', e.reason)

#测试获取数据
get_request = urllib.request.Request(get_url)  
get_response = opener.open(get_request)  
print(get_response.read().decode())

--结束END--

本文标题: python3使用urllib抓取用户

本文链接: https://www.lsjlt.com/news/193461.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python3使用urllib抓取用户
    #python34 # -*- coding: utf-8 -*- import http.cookiejar import urllib.error import urllib.parse import urllib.request ...
    99+
    2023-01-31
    用户 urllib
  • Python3 使用urllib 发送a
    在爬取某网站的时候,碰到的一个问题, 在进行一个post请求时,postman 里面可以正常请求到数据,但是一模一样放到python里面就不行了,后面通过抓包发现了问题。 直接贴代码: raw = {‘number’: ‘12...
    99+
    2023-01-31
    urllib
  • python3 urllib用法
    import urllib data = urllib.parse.urlencode(params).encode('utf-8') req = urllib.request.Request(url, data) req.add_head...
    99+
    2023-01-31
    urllib
  • Python3 Urllib库的基本使用
    一、什么是Urllib   Urllib库是Python自带的一个http请求库,包含以下几个模块: urllib.request    请求模块 urllib.error        异常处理模块 urllib.parse      ...
    99+
    2023-01-31
    Urllib
  • 如何使用python3抓取微信公众号文章
    通过微信公众平台的查找文章接口,抓取我们需要的相关文章 1.首先我们先看一下,通过正常的登录自己的微信公众号,然后用文章搜索功能,搜索一下我们需要查找的相关文章。 打开https://mp.weixin.qq.com 登录公众号,打开素材...
    99+
    2023-01-31
    如何使用 公众 文章
  • 使用urllib
    工具为:python3(windows) 其完整表达式为: urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault...
    99+
    2023-01-30
    urllib
  • 【urllib的使用(上)】
    文章目录 一、urllib的基本用法二、urllib类型和方法类型方法 三、urllib下载下载网页下载图片下载视频 四、请求对象的定制五、编解码1.get请求方式urllib.par...
    99+
    2023-09-15
    python 前端 爬虫
  • Python urllib如何使用
    本篇内容介绍了“Python urllib如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!一、简介urllib 库,它是 P...
    99+
    2023-07-04
  • python3怎么使用libpcap库抓包及处理数据
    本文小编为大家详细介绍“python3怎么使用libpcap库抓包及处理数据”,内容详细,步骤清晰,细节处理妥当,希望这篇“python3怎么使用libpcap库抓包及处理数据”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习...
    99+
    2023-07-04
  • python urllib库的使用详解
    目录1、请求模块:urllib.request data参数:post请求urlopen()中的参数timeout:设置请求超时时间:响应类型:响应的状态码、响应头:使用代理:url...
    99+
    2024-04-02
  • 如何使用Requests模块抓取网页
    这篇文章主要介绍“如何使用Requests模块抓取网页”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用Requests模块抓取网页”文章能帮助大家解决问题。爬取网页其实就是通过URL获取网页信...
    99+
    2023-07-06
  • 怎样使用Requests模块抓取网页?
    ​爬取网页其实就是通过URL获取网页信息,网页信息的实质是一段添加了JavaScript和CSS的HTML代码。Python提供了一个抓取网页信息的第三方模块requests,requests模块自称“HTTP for Humans”,直译...
    99+
    2023-05-14
    CSS JavaScript URL
  • Python的HTTP客户端模块urllib与urllib3怎么使用
    一、urllib概述:urllib是Python中请求url连接的官方标准库,就是你安装了python,这个库就已经可以直接使用了,基本上涵盖了基础的网络请求功能。在Python2中主要为urllib和urllib2,在Python3中整合...
    99+
    2023-05-20
    Python Http urllib
  • 如何使用python爬虫抓取弹幕
    这篇文章主要讲解了“如何使用python爬虫抓取弹幕”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“如何使用python爬虫抓取弹幕”吧!一、爬虫是什么?百度百科这样说:自动获取网页内容的程序...
    99+
    2023-06-29
  • python3使用cookie免登录爬取
    前言 由于一些论坛不登录验证,就不能查看帖子的内容和附件,所以需要登录验证,如果在代码中添加登录验证,那就增加了代码的复杂度,所以可以结合cookie来登录然后爬取需要的资料 cookie的获取 使用chrome,登录后在开发工具里查取 ...
    99+
    2023-01-31
    cookie
  • 使用nodejs怎么抓取页面的始末
    使用nodejs怎么抓取页面的始末,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。事由以及动机2015年9月份全国研究生数学建模...
    99+
    2024-04-02
  • 如何使用Node.js+Cheerio进行数据抓取
    这篇文章主要介绍“如何使用Node.js+Cheerio进行数据抓取”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“如何使用Node.js+Cheerio进行数据抓取...
    99+
    2024-04-02
  • 使用python抓取B站数据的方法
    这篇文章给大家分享的是有关使用python抓取B站数据的方法的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。概述可以获取的数据包括:video-视频模块user-用户模块dynamic-动态模块这次用“Runnin...
    99+
    2023-06-15
  • 你会使用python爬虫抓取弹幕吗
    目录前言一、爬虫是什么?二、饲养步骤1.请求弹幕2.解析弹幕3.存储弹幕4.总代码三、总结前言 时隔108天,何同学在B站发布了最新的视频,《【何同学】我用108天开了个灯&hell...
    99+
    2024-04-02
  • Hibernate使用批量抓取技巧有哪些
    小编给大家分享一下Hibernate使用批量抓取技巧有哪些,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!Hibernate批量抓取是延迟查询抓取的优化方案,你可以...
    99+
    2023-06-17
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作