python爬虫中如何爬取新闻

这篇文章主要介绍了python爬虫中如何爬取新闻，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

python的五大特点是什么

Python的五大特点：1.简单易学，开发程序时，专注的是解决问题,而不是搞明白语言本身。2.面向对象，与其他主要的语言如c++和Java相比, Python以一种非常强大又简单的方式实现面向对象编程。3.可移植性，Python程序无需修改就可以在各种平台上运行。4.解释性，Python语言写的程序不需要编译成二进制代码,可以直接从源代码运行程序。5.开源，Python是 FLOSS(自由/开放源码软件)之一。

1、爬虫思路：

定义编码形式并引入模块；

请求新闻网站URL，获取其text文本并解析；

通过select选择器定位解析文件指定的元素，返回一个列表并遍历；

获取相关内容。

2、具体实现

第一步：使用UTF-8编码形式定义文件（避免一些编码错误导致中文乱码），并引入相关模块。

# coding:utf-8# 引入相关模块import requestsfrom bs4 import BeautifulSoupurl = "Http://news.qq.com/"

第二步：请求新闻网站URL，获取其text文本

wbdata = requests.get(url).text

第三步：解析获取到的文本

soup = BeautifulSoup(wbdata,'lxml')

第四步：通过select选择器定位解析文件指定的元素，返回一个列表

从解析文件中通过select选择器定位指定的元素，返回一个列表news_titles = soup.select("div.text > em.f14 > a.linkto")

第五步：遍历返回的列表

for n in news_titles:

第六步：获取新闻标题及信息

 # 提取出标题和链接信息    title = n.get_text()    link = n.get("href")    data = {        '标题':title,        '链接':link    }    print(data)

感谢你能够认真阅读完这篇文章，希望小编分享的“python爬虫中如何爬取新闻”这篇文章对大家有帮助，同时也希望大家多多支持编程网，关注编程网Python频道，更多相关知识等着你来学习!