Python 官方文档:入门教程 => 点击学习
这篇文章给大家介绍怎么在python中使用feapde实现一个爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。Python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言,其最初的
这篇文章给大家介绍怎么在python中使用feapde实现一个爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
Python是一种跨平台的、具有解释性、编译性、互动性和面向对象的脚本语言,其最初的设计是用于编写自动化脚本,随着版本的不断更新和新功能的添加,常用于用于开发独立的项目和大型项目。
1、首先,让MysqlDB初始化数据库。
from feapder.db.Mysqldb import mysqlDB class TophubSpider(feapder.airSpider): def __init__(self, *args, **kwargs): super().__init__(*args, **kwargs) self.db = MysqlDB()
2、在start_requests方法中,指定爬取主链接地址,使用关键词download_midware配置。
import feapderfrom fake_useragent import UserAgent def start_requests(self): yield feapder.Request("https://tophub.today/", download_midware=self.download_midware) def download_midware(self, request): # 随机UA # 依赖:pip3 install fake_useragent ua = UserAgent().random request.headers = {'User-Agent': ua} return request
3、抓取主页标题和链接地址。
使用内置方法xpath分析数据。
def parse(self, request, response): # print(response.text) card_elements = response.xpath('//div[@class="cc-cd"]') # 过滤出对应的卡片元素【什么值得买】 buy_Good_element = [card_element for card_element in card_elements if card_element.xpath('.//div[@class="cc-cd-is"]//span/text()').extract_first() == '什么值得买'][0] # 获取内部文章标题及地址 a_elements = buy_good_element.xpath('.//div[@class="cc-cd-cb nano"]//a') for a_element in a_elements: # 标题和链接 title = a_element.xpath('.//span[@class="t"]/text()').extract_first() href = a_element.xpath('.//@href').extract_first() # 再次下发新任务,并带上文章标题 yield feapder.Request(href, download_midware=self.download_midware, callback=self.parser_detail_page, title=title)
关于怎么在python中使用feapde实现一个爬虫就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
--结束END--
本文标题: 怎么在python中使用feapde实现一个爬虫
本文链接: https://www.lsjlt.com/news/274679.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0