使用python怎么爬取微博评论

今天就跟大家聊聊有关使用python怎么爬取微博评论，可能很多人都不太了解，为了让大家更加了解，小编给大家总结了以下内容，希望大家根据这篇文章可以有所收获。

Python主要应用领域有哪些

1、云计算，典型应用OpenStack。2、WEB前端开发，众多大型网站均为python开发。3.人工智能应用，基于大数据分析和深度学习而发展出来的人工智能本质上已经无法离开python。4、系统运维工程项目，自动化运维的标配就是python+Django/flask。5、金融理财分析，量化交易，金融分析。6、大数据分析。

一、爬虫微博

与QQ空间爬虫类似，可以爬取新浪微博用户的个人信息、微博信息、粉丝、关注和评论等。

爬虫抓取微博的速度可以达到 1300万/天 以上，具体要视网络情况。

难度程度排序：网页端>手机端>移动端。微博端就是最好爬的微博端。

二、python爬虫爬取微博评论

第一步：确定评论用户的id

# -*- coding:utf-8 -*-import requestsimport reimport timeimport pandas as pdurls = 'https://m.weibo.cn/api/comments/show?id=4073157046629802&page={}'headers = {'Cookies':'Your cookies',    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

第二步：找到html标签

tags = re.compile('</?\w+[^>]*>')

第三步：设置提取评论function

def get_comment(url):      j = requests.get(url, headers=headers).JSON()      comment_data = j['data']['data']      for data in comment_data:          try:

第四步：利用正则表达式去除文本中的html标签

comment = tags.sub('', data['text']) # 去掉html标签              reply = tags.sub('', data['reply_text'])              weibo_id = data['id']              reply_id = data['reply_id']               comments.append(comment)              comments.append(reply)              ids.append(weibo_id)              ids.append(reply_id)

第五步：爬取评论

df = pd.DataFrame({'ID': ids, '评论': comments})  df = df.drop_duplicates()  df.to_csv('观察者网.csv', index=False, encoding='gb18030')

看完上述内容，你们对使用python怎么爬取微博评论有进一步的了解吗？如果还想了解更多知识或者相关内容，请关注编程网Python频道，感谢大家的支持。