Python爬虫实战演练之采集糗事百科段子数据

2024-04-02 19:04:59 367人浏览安东尼

Python 官方文档：入门教程 => 点击学习

摘要

目录知识点爬虫基本步骤:爬虫代码导入所需模块获取网页地址发送请求数据解析保存数据运行代码，得到数据知识点 1.爬虫基本步骤 2.requests模块 3.parsel模块 4.xpa

知识点

1.爬虫基本步骤
2.requests模块
3.parsel模块
4.xpath数据解析方法
5.分页功能

爬虫基本步骤:

1.获取网页地址 (糗事百科的段子的地址)
2.发送请求
3.数据解析
4.保存本地

爬虫代码

导入所需模块


import re
import requests
import parsel

获取网页地址


url = 'https://www.qiushibaike.com/text/'
# 请求头   伪装客户端向服务器发送请求
headers = {
    'User-Agent': 'Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/94.0.4606.81 Safari/537.36'
}

发送请求


requ = requests.get(url=url, headers=headers).text

数据解析


sel = parsel.Selector(requ)  # 解析对象 <Selector xpath=None data='<html xmlns="Http://www.w3.org/1999/x...'>
href = sel.xpath('//body/div/div/div[2]/div/a[1]/@href').getall()
for html in href:
    txt_href = 'https://www.qiushibaike.com' + html
    requ2 = requests.get(url=txt_href, headers=headers).text
    sel2 = parsel.Selector(requ2)
    title = sel2.xpath('//body/div[2]/div/div[2]/h1/text()').get().strip()
    title = re.sub(r'[|/\：？<>*]','_',title)
    # content = sel2.xpath('//div[@class="content"]/text()').getall()
    content = sel2.xpath('//body/div[2]/div/div[2]/div[2]/div[1]/div/text()').getall()
    contents = '\n'.join(content)

保存数据


with open('糗事百科text\\'+title + '.txt', mode='w', encoding='utf-8') as fp:
    fp.write(contents)
    print(title, '下载成功')

运行代码，得到数据

【付费VIP完整版】只要看了就能学会的教程，80集Python基础入门视频教学

点这里即可免费在线观看

到此这篇关于python爬虫实战演练之采集糗事百科段子数据的文章就介绍到这了,更多相关python 采集糗事百科段子内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！

您可能感兴趣的文档:

点击免费下载>>软考高级考试备考技巧/历年真题/备考精华资料

--结束END--

本文标题: Python爬虫实战演练之采集糗事百科段子数据

本文链接: https://www.lsjlt.com/news/155045.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑，方便收藏和打印～

下载Word文档

去做题

猜你喜欢

Python爬虫实战演练之采集糗事百科段子数据

目录知识点爬虫基本步骤:爬虫代码导入所需模块获取网页地址发送请求数据解析保存数据运行代码，得到数据知识点 1.爬虫基本步骤 2.requests模块 3.parsel模块 4.xpa...

99+

2024-04-02
手写爬虫之糗事百科段子及神回复

先贴代码吧，然后再说遇到的坑 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/10/11 16:35 # @Author : yuantup # @Sit...

99+

2023-01-30

爬虫糗事段子
Python爬虫实战演练之采集拉钩网招聘信息数据

目录本文要点：环境介绍本次目标爬虫块使用内置模块:第三方模块:代码实现步骤: (爬虫代码基本步骤)开始代码导入模块发送请求解析数据加翻页保存数据运行代码，得到数据本文要点： ...

99+

2024-04-02
Python项目实战:爬取糗事百科最热门的内涵搞笑段子

前言相信大家都很喜欢非常喜欢看那种神奇的段子,和下面神评论,哈哈,简直就是笑死人,不偿命,今天就为大家介绍一个爬取糗事百科最热门的内涵段子的案例,让你在敲代码过程,有点烦心的时候,就可以看看最新的搞笑内涵段子了,是不是超棒的呢导入基本库...

99+

2023-06-02