广告

扫码关注官方微信

扫码下载APP
返回顶部
首页 > 资讯 > 后端开发 > Python >Python中关于数据采集和解析是怎样的
  • 455

0
分享到

Python中关于数据采集和解析是怎样的

2023-06-02 02:06:28 455人浏览 泡泡鱼

Python 官方文档：入门教程 => 点击学习

摘要

本篇文章为大家展示了python中关于数据采集和解析是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，下面我们给出一个爬虫开发相关技术

本篇文章为大家展示了python中关于数据采集和解析是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。

我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，下面我们给出一个爬虫开发相关技术的清单以及这些技术涉及到的标准库和第三方库，稍后我们会一一介绍这些内容。

  1. 下载数据 - urllib / requests / aioHttp。

  2. 解析数据 - re / lxml / beautifulsoup4 / pyquery。

  3. 缓存和持久化 - pymysql / sqlalchemy / peewee/ redis / pymonGo。

  4. 生成数字签名 - hashlib。

  5. 序列化和压缩 - pickle / JSON / zlib。

  6. 调度器 - 多进程（multiprocessing） / 多线程（threading）。

html页面

<!DOCTYPE html><html> <head> <title>Home</title> <style type="text/CSS">  </style> </head> <body> <div> <header> <h2>Yoko's Kitchen</h2> <nav> <ul> <li><a href="">Home</a></li> <li><a href="">Classes</a></li> <li><a href="">Catering</a></li> <li><a href="">About</a></li> <li><a href="">Contact</a></li> </ul> </nav> </header> <section> <article> <figure> <img src="images/bok-choi.jpg" alt="Bok Choi" /> <fiGCaption>Bok Choi</figcaption> </figure> <hgroup> <h3>Japanese Vegetarian</h3> <h4>Five week course in London</h4> </hgroup> <p>A five week introduction to traditional Japanese vegetarian meals, teaching you a selection of rice and noodle dishes.</p> </article>  <article> <figure> <img src="images/teriyaki.jpg" alt="Teriyaki sauce" /> <figcaption>Teriyaki Sauce</figcaption> </figure> <hgroup> <h3>Sauces Masterclass</h3> <h4>One day workshop</h4> </hgroup> <p>An intensive one-day course looking at how to create the most delicious sauces for use in a range of Japanese cookery.</p> </article>  </section> <aside> <section> <h3>Popular Recipes</h3> <a href="">Yakitori (grilled chicken)</a> <a href="">Tsukune (minced chicken patties)</a> <a href="">Okonomiyaki (savory pancakes)</a> <a href="">Mizutaki (chicken stew)</a> </section> <section> <h3>Contact</h3> <p>Yoko's Kitchen<br> 27 Redchurch Street<br> Shoreditch<br> London E2 7DP</p> </section> </aside> <footer> © 2011 Yoko's Kitchen </footer> </div> <script>  // 此处省略javascript代码 </script> </body></html>

如果你对上面的代码并不感到陌生，那么你一定知道HTML页面通常由三部分构成，分别是用来承载内容的Tag（标签）、负责渲染页面的CSS（层叠样式表）以及控制交互式行为的JavaScript。通常，我们可以在浏览器的右键菜单中通过“查看网页源代码”的方式获取网页的代码并了解页面的结构；当然，我们也可以通过浏览器提供的开发人员工具来了解更多的信息。

使用requests获取页面

  1. GET请求和POST请求。

  2. URL参数和请求头。

  3. 复杂的POST请求（文件上传）。

  4. 操作Cookie。

  5. 设置代理服务器。

【说明】：关于requests的详细用法可以参考它的官方文档。

页面解析

几种解析方式的比较

Python中关于数据采集和解析是怎样的

说明：BeautifulSoup可选的解析器包括：Python标准库（html.parser）、lxml的HTML解析器、lxml的XML解析器和HTML5lib。

使用正则表达式解析页面

如果你对正则表达式没有任何的概念，那么推荐先阅读《正则表达式30分钟入门教程》，然后再阅读我们之前讲解在Python中如何使用正则表达式一文。

XPath解析和lxml

XPath是在XML文档中查找信息的一种语法，它使用路径表达式来选取XML文档中的节点或者节点集。这里所说的XPath节点包括元素、属性、文本、命名空间、处理指令、注释、根节点等。

<?xml version="1.0" encoding="UTF-8"?><bookstore> <book> <title>Harry Potter</title> <price>29.99</price> </book> <book> <title>Learning XML</title> <price>39.95</price> </book></bookstore>

对于上面的XML文件，我们可以用如下所示的XPath语法获取文档中的节点。

Python中关于数据采集和解析是怎样的

在使用XPath语法时，还可以使用XPath中的谓词。

Python中关于数据采集和解析是怎样的

XPath还支持通配符用法，如下所示。

Python中关于数据采集和解析是怎样的

如果要选取多个节点，可以使用如下所示的方法。

Python中关于数据采集和解析是怎样的

【说明】：上面的例子来自于菜鸟教程网站上XPath教程，有兴趣的读者可以自行阅读原文。

当然，如果不理解或者不太熟悉XPath语法，可以在Chrome浏览器中按照如下所示的方法查看元素的XPath语法。

Python中关于数据采集和解析是怎样的

BeautifulSoup的使用

BeautifulSoup是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。

遍历文档树

  • 获取标签

  • 获取标签属性

  • 获取标签内容

  • 获取子（孙）节点

  • 获取父节点/祖先节点

  • 获取兄弟节点

搜索树节点

  • find / find_all

  • select_one / select

【说明】：更多内容可以参考BeautifulSoup的官方文档。

PyQuery的使用

pyquery相当于Jquery的Python实现，可以用于解析HTML网页。

实例 - 获取知乎发现上的问题链接

from urllib.parse import urljoinimport reimport requestsfrom bs4 import BeautifulSoupdef main(): headers = {'user-agent': 'Baiduspider'} proxies = { 'http': 'http://122.114.31.177:808' } base_url = 'https://www.zhihu.com/' seed_url = urljoin(base_url, 'explore') resp = requests.get(seed_url, headers=headers, proxies=proxies) soup = BeautifulSoup(resp.text, 'lxml') href_regex = re.compile(r'^/question') link_set = set() for a_tag in soup.find_all('a', {'href': href_regex}): if 'href' in a_tag.attrs: href = a_tag.attrs['href'] full_url = urljoin(base_url, href) link_set.add(full_url) print('Total %d question pages found.' % len(link_set))if __name__ == '__main__': main()

上述内容就是Python中关于数据采集和解析是怎样的，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注编程网Python频道。

您可能感兴趣的文档:
点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: Python中关于数据采集和解析是怎样的

本文链接: https://www.lsjlt.com/news/228560.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档
去做题
猜你喜欢
  • Python中关于数据采集和解析是怎样的
    本篇文章为大家展示了Python中关于数据采集和解析是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。我们已经了解到了开发一个爬虫需要做的工作以及一些常见的问题，下面我们给出一个爬虫开发相关技术...
    99+
    2023-06-02
  • JSON数据在J2ME下的构造和解析是怎样的
    JSON数据在J2ME下的构造和解析是怎样的，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。这里向大家描述一下J2ME下JSON...
    99+
    2022-10-19
  • python数据分析中的异常值处理是怎样的
    本篇文章为大家展示了python数据分析中的异常值处理是怎样的，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。异常值异常值是指样本中的个别值，其数值明显偏离其余的观测值。异常值也称离群点，异常值的分析...
    99+
    2023-06-29
  • Python基础中os和数据结构是怎么样的
    Python基础中os和数据结构是怎么样的，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。今天总结了下Python的基础，发现还是有很多基础需要巩固，直接把学习的...
    99+
    2023-06-04
  • Python框架Django中的页面渲染和数据库应用是怎样的
    Python框架Django中的页面渲染和数据库应用是怎样的，相信很多没有经验的人对此束手无策，为此本文总结了问题出现的原因和解决方法，通过这篇文章希望你能解决这个问题。Django 的环境搭建和创建项目，只是输出了一行字符，你可以对页面进...
    99+
    2023-06-04
  • SQL数据库中滥用临时表和排序的解决优化是怎样的
    这篇文章给大家介绍SQL数据库中滥用临时表和排序的解决优化是怎样的，内容非常详细，感兴趣的小伙伴们可以参考借鉴，希望对大家能有所帮助。 游标、临时表、触发器、COLLATE等等 无可厚非、这些都是好东西...
    99+
    2022-10-19
软考高级职称资格查询
软考职称历年真题下载
软考职称资料下载
热门wiki
近期文章
推荐阅读
热门问答
热门标签
编程网，编程工程师的家园，是目前国内优秀的开源技术社区之一，形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容，为IT开发者提供了一个发现、使用、并交流开源技术的平台。

  • 官方手机版

  • 微信公众号

  • 商务合作