广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python反爬之懒加载
  • 719
分享到

python反爬之懒加载

加载python 2023-01-30 22:01:27 719人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

# 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,

# 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,有些标签是不正确的,改了名字或者加了数字,或者不是你在网页上检查看到的标签名,所以如果你按照网页上的解析规则去解析, 是解析不到的,这时就要按照网页源代码的解析规则去解析了,这就是典型的网页懒加载。
# 什么是网页懒加载?
# 网页懒加载是前端为了提高网页访问速度,将页面内没有出现在可视区域内的图片先不做加载,等到手动滑动鼠标滚动到可视区域后再加载。这样对于网页加载性能上会有很大的提升,懒加载的效果就可以提升用户体验。
import requests
from pyquery import PyQuery as pq
headers = {
    'User-Agent':"Mozilla/5.0 (windows; U; Windows NT 5.1; en-US; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10",
}
url = 'Http://sc.chinaz.com/tupian/fengjingtupian.html'
r = requests.get(url=url,headers = headers)
r.encoding = r.apparent_encoding
demo = r.text
soup = pq(demo)
src = soup('.box.picblock.col3 img')
for i in src:
    i = pq(i)
    i = i.attr('src2')
    print(i)
print(len(src))

  选取了站长之家作为目标站点

  右键检查看到的标签

 

实际爬取下来的网页源代码

 

按照这个解析规则,一般就能正确的解析出来需要的内容了。

 

--结束END--

本文标题: python反爬之懒加载

本文链接: https://www.lsjlt.com/news/180247.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python反爬之懒加载
    # 在平时的爬虫中,如果遇到没有局部刷新,没有字体加密,右键检查也能看到清晰的数据,但是按照已经制定好的解析规则进行解析时,会返回空数据,这是为什么呢,这时可以在网页右键查看一下网页源代码,可以发现,在网页上的源代码中有些部分是正确的,...
    99+
    2023-01-30
    加载 python
  • Python和JS反爬之解决反爬参数 signKey
    目录实战场景系统分析实战场景 Python 反爬中有一大类,叫做字体反爬,核心的理论就是通过字体文件或者 CSS 偏移,实现加密逻辑 本次要采集的站点是:54yr55y855S15b...
    99+
    2022-11-11
  • Android开发技巧之Fragment的懒加载
    前言 所谓懒加载,就是当fragment完全可见的时候我们再去加载数据,我们在做应用开发的时候,一个Activity里面可能会以viewpager(或其他容器)与多个Fragm...
    99+
    2022-06-06
    技巧 懒加载 android开发 fragment Android
  • Android之Viewpager+Fragment实现懒加载示例
    我们在做应用开发的时候,一个Activity里面可能会以viewpager(或其他容器)与多个Fragment来组合使用。而ViewPager默认会缓存三页数据,即:Viewpager每加载一个Fragment,都会预先加载此Fragmen...
    99+
    2023-05-31
    viewpager fragment age
  • mybatis源码解读之executor包懒加载功能
    ProxyFactory是创建代理类的工厂接口,其中的setProperties方法用来对工厂进行属性设置,但是mybatis内置的两个实现类都没有实现该接口,所以不支持属性设置。c...
    99+
    2022-11-13
  • Python爬虫-05:Ajax加载的动
    1.1. Introduction 如果所爬取的网址是通过Ajax方式加载的,就直接抓包,拿他后面传输数据的文件 有些网页内容使用AJAX加载,只要记得,AJAX一般返回的是JSON,直接对AJAX地址进行post或get,就返回JS...
    99+
    2023-01-30
    爬虫 加载 Python
  • Angular性能优化之第三方组件和懒加载技术
    目录概述环境准备影响项目性能的因素什么是懒加载?项目优化1. 划分业务模块2. 建立导航UI3. 导入与路由配置4. 特性模块内部5. 确认它正常工作总结概述 应该有很多人都抱怨过 ...
    99+
    2022-11-12
  • python爬虫之小说网站--下载小说(
    python爬虫之小说网站--下载小说(正则表达式) 思路: 1.找到要下载的小说首页,打开网页源代码进行分析(例:https://www.kanunu8.com/files/old/2011/2447.html) 2.分析自己要得到的内...
    99+
    2023-01-30
    爬虫 小说网站 小说
  • Android开发之Fragment懒加载的几种方式及性能对比
    目录1. Support时代的懒加载2. AndrodX时代的懒加载3. ViewPager2时代的懒加载4. ViewPage和ViewPager2的性能对比前言: TabLayo...
    99+
    2022-11-13
  • python网络爬虫之如何伪装逃过反爬虫程序的方法
    有的时候,我们本来写得好好的爬虫代码,之前还运行得Ok, 一下子突然报错了。 报错信息如下: Http 800 Internal internet error 这是因为你的对象网站设置了反爬虫程序,如果用现...
    99+
    2022-06-04
    爬虫 逃过 程序
  • vue之el-tree懒加载数据并且实现树的过滤问题
    目录vue el-tree懒加载数据并且实现树的过滤Element el-tree懒加载问题基础使用二次封装数据回显回显问题复选框显隐总结vue el-tree懒加载数据并且实现树的...
    99+
    2023-05-17
    vue el-tree el-tree懒加载数据 el-tree树的过滤
  • Python爬虫之批量下载喜马拉雅音频
    目录一、解析网站1.1 获取音频地址1.2 解析专栏网页1.3 整理亿下思路二、编写爬取代码一、解析网站 1.1 获取音频地址 在喜马拉雅网站上,随便点开一个音频,打开“开发者工具”...
    99+
    2022-11-12
  • python中如何实现反爬2021猫眼票房字体加密
    这篇文章主要介绍python中如何实现反爬2021猫眼票房字体加密,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!python主要应用领域有哪些1、云计算,典型应用OpenStack。2、WEB前端开发,众多大型网站均...
    99+
    2023-06-14
  • Python反爬实战掌握酷狗音乐排行榜加密规则
    目录效果展示爬取目标工具使用项目思路解析简易源码分享效果展示 爬取目标 网址:酷我音乐 工具使用 开发工具:pycharm 开发环境:python3.7, Windows10 使...
    99+
    2022-11-12
  • Python爬虫之批量下载喜马拉雅音频的方法
    这篇文章给大家分享的是有关Python爬虫之批量下载喜马拉雅音频的方法的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。一、解析网站1.1 获取音频地址在喜马拉雅网站上,随便点开一个音频,打开“开发者工具”,再点击播...
    99+
    2023-06-15
  • Python爬虫实战之批量下载快手平台视频数据
    知识点 requests json re pprint 开发环境: 版 本:anaconda5.2.0(python3.6.5) ...
    99+
    2022-11-12
  • Python爬虫实战之网易云音乐加密解析附源码
    目录环境知识点第一步第二步开始代码先导入所需模块请求数据提取我们真正想要的 音乐的名称 id导入js文件保存文件完整代码环境  python3.8 pyc...
    99+
    2022-11-12
  • Python Pytorch深度学习之数据加载和处理
    目录一、下载安装包二、下载数据集三、读取数据集四、编写一个函数看看图像和landmark五、数据集类六、数据可视化七、数据变换1、Function_Rescale2、Function...
    99+
    2022-11-12
  • 使用K近邻算法与CSS动态字体加密后Python怎么反爬虫
    本篇内容主要讲解“使用K近邻算法与CSS动态字体加密后Python怎么反爬虫”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“使用K近邻算法与CSS动态字体加密后Python怎么反爬虫”吧!  1....
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作