iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >使用python怎么爬取微博的热搜数据
  • 958
分享到

使用python怎么爬取微博的热搜数据

2023-06-06 11:06:53 958人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

使用python怎么爬取微博的热搜数据?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。主要用到requests和bf4两个库将获得的信息保存在d://hotsea

使用python怎么爬取微博的热搜数据?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

主要用到requests和bf4两个库
将获得的信息保存在d://hotsearch.txt下

import requests;import bs4mylist=[]r = requests.get(url='https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6',timeout=10)print(r.status_code) # 获取返回状态r.encoding=r.apparent_encodingdemo = r.textfrom bs4 import BeautifulSoupsoup = BeautifulSoup(demo,"html.parser")for link in soup.find('tbody') : hotnumber='' if isinstance(link,bs4.element.Tag):#  print(link('td'))  lis=link('td')  hotrank=lis[1]('a')[0].string#热搜排名  hotname=lis[1].find('span')#热搜名称  if isinstance(hotname,bs4.element.Tag):   hotnumber=hotname.string#热搜指数   pass  mylist.append([lis[0].string,hotrank,hotnumber,lis[2].string])f=open("d://hotsearch.txt","w+")for line in mylist: f.write('%s %s %s %s\n'%(line[0],line[1],line[2],line[3]))

使用python怎么爬取微博的热搜数据

知识点扩展:利用Python爬取微博热搜并进行数据分析

爬取微博热搜

import scheduleimport pandas as pdfrom datetime import datetimeimport requestsfrom bs4 import BeautifulSoupurl = "Https://s.weibo.com/top/summary?cate=realtimehot&sudaref=s.weibo.com&display=0&retcode=6102"get_info_dict = {}count = 0def main():  global url, get_info_dict, count  get_info_list = []  print("正在爬取数据~~~")  html = requests.get(url).text  soup = BeautifulSoup(html, 'lxml')  for tr in soup.find_all(name='tr', class_=''):    get_info = get_info_dict.copy()    get_info['title'] = tr.find(class_='td-02').find(name='a').text    try:      get_info['num'] = eval(tr.find(class_='td-02').find(name='span').text)    except AttributeError:      get_info['num'] = None    get_info['time'] = datetime.now().strftime("%Y/%m/%d %H:%M")    get_info_list.append(get_info)  get_info_list = get_info_list[1:16]  df = pd.DataFrame(get_info_list)  if count == 0:    df.to_csv('datas.csv', mode='a+', index=False, encoding='gbk')    count += 1  else:    df.to_csv('datas.csv', mode='a+', index=False, header=False, encoding='gbk')# 定时爬虫schedule.every(1).minutes.do(main)while True:  schedule.run_pending()

pyecharts数据分析

import pandas as pdfrom pyecharts import options as optsfrom pyecharts.charts import Bar, Timeline, Gridfrom pyecharts.globals import ThemeType, CurrentConfigdf = pd.read_csv('datas.csv', encoding='gbk')print(df)t = Timeline(init_opts=opts.InitOpts(theme=ThemeType.MacARONS)) # 定制主题for i in range(int(df.shape[0]/15)):  bar = (    Bar()      .add_xaxis(list(df['title'][i*15: i*15+15][::-1])) # x轴数据      .add_yaxis('num', list(df['num'][i*15: i*15+15][::-1])) # y轴数据      .reversal_axis() # 翻转      .set_global_opts( # 全局配置项      title_opts=opts.TitleOpts( # 标题配置项        title=f"{list(df['time'])[i * 15]}",        pos_right="5%", pos_bottom="15%",        title_textstyle_opts=opts.TextStyleOpts(          font_family='KaiTi', font_size=24, color='#FF1493'        )      ),      xaxis_opts=opts.AxisOpts( # x轴配置项        splitline_opts=opts.SplitLineOpts(is_show=True),      ),      yaxis_opts=opts.AxisOpts( # y轴配置项        splitline_opts=opts.SplitLineOpts(is_show=True),        axislabel_opts=opts.LabelOpts(color='#DC143C')      )    )      .set_series_opts( # 系列配置项      label_opts=opts.LabelOpts( # 标签配置        position="right", color='#9400D3')    )  )  grid = (    Grid()      .add(bar, grid_opts=opts.GridOpts(pos_left="24%"))  )  t.add(grid, "")  t.add_schema(    play_interval=1000, # 轮播速度    is_timeline_show=False, # 是否显示 timeline 组件    is_auto_play=True, # 是否自动播放  )t.render('时间轮播图.html')

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注编程网Python频道,感谢您对编程网的支持。

--结束END--

本文标题: 使用python怎么爬取微博的热搜数据

本文链接: https://www.lsjlt.com/news/246591.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用python怎么爬取微博的热搜数据
    使用python怎么爬取微博的热搜数据?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。主要用到requests和bf4两个库将获得的信息保存在d://hotsea...
    99+
    2023-06-06
  • python爬虫怎么爬取微博热搜
    这篇文章主要介绍python爬虫怎么爬取微博热搜,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!python有哪些常用库python常用的库:1.requesuts;2.scrapy;3.pillow;4.twiste...
    99+
    2023-06-14
  • Python 爬取微博热搜页面
    前期准备: fiddler 抓包工具Python3.6谷歌浏览器 分析: 1.清理浏览器缓存cookie以至于看到整个请求过程,因为Python代码开始请求的时候不带任何缓存。2.不...
    99+
    2024-04-02
  • 使用Python怎么爬取微博热搜关键词
    今天就跟大家聊聊有关使用Python怎么爬取微博热搜关键词,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。python是什么意思Python是一种跨平台的、具有解释性、编译性、互动性和...
    99+
    2023-06-14
  • python如何爬取微博热搜存入Mysql
    这篇文章主要介绍了python如何爬取微博热搜存入Mysql,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。Python主要用来做什么Python主要应用于:1、Web开发;2...
    99+
    2023-06-14
  • python实战之Scrapy框架爬虫爬取微博热搜
    前言:大概一年前写的,前段时间跑了下,发现还能用,就分享出来了供大家学习,代码的很多细节不太记得了,也尽力做了优化。 因为毕竟是微博,反爬技术手段还是很周全的,怎么绕过反爬的话要在这...
    99+
    2024-04-02
  • Python定时爬取微博热搜示例介绍
    目录前言页面分析采集代码设置定时运行前言 相信大家在工作无聊时,总想掏出手机,看看微博热搜在讨论什么有趣的话题,但又不方便直接打开微博浏览,今天就和大家分享一个有趣的小爬虫,定时采集...
    99+
    2024-04-02
  • 使用python怎么爬取微博评论
    今天就跟大家聊聊有关使用python怎么爬取微博评论,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。python主要应用领域有哪些1、云计算,典型应用OpenStack。2、WEB前端...
    99+
    2023-06-14
  • python爬虫如何爬取微博粉丝数据
    这篇文章主要介绍了python爬虫如何爬取微博粉丝数据,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。python可以做什么Python是一种编程语言,内置了许多有效的工具,P...
    99+
    2023-06-14
  • 六个步骤学会使用Python爬虫爬取数据(爬虫爬取微博实战)
    用python的爬虫爬取数据真的很简单,只要掌握这六步就好,也不复杂。以前还以为爬虫很难,结果一上手,从初学到把东西爬下来,一个小时都不到就解决了。 Python爬虫六部曲 第一步:安装request...
    99+
    2023-09-10
    python 爬虫 python入门 python爬虫 python爬虫爬取网页数据
  • python爬取微博图片数据存到Mysq
    本人长期出售超大量微博数据、旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com。同时欢迎加入社交媒体数据交流群:99918768   由于硬件等各种原因需要把大概170多万2t...
    99+
    2023-01-31
    数据 图片 python
  • python趣味挑战之爬取天气与微博热搜并自动发给微信好友
    目录一、系统环境二、爬取中国天气网三、爬取微博热搜四、微信自动发送消息五、源代码六、运行效果七、总结一、系统环境 1.python 3.8.2 2.webdriver(用于驱动edg...
    99+
    2024-04-02
  • 怎么用Python实现爬取百度热搜信息
    小编给大家分享一下怎么用Python实现爬取百度热搜信息,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!前言何为爬虫,其实就是利用计算机模拟人对网页的操作例如 模拟人类浏览购物网站使用爬虫前一定要看目标网站可刑不可刑 :-)...
    99+
    2023-06-26
  • 怎么使用python爬虫爬取数据
    本篇内容介绍了“怎么使用python爬虫爬取数据”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!python爬出六部曲第一步:安装reques...
    99+
    2023-06-29
  • 用Python爬取指定关键词的微博
    目录一、分析页面二、数据采集1、发起请求2、提取数据三、小结前几天学校一个老师在做微博的舆情分析找我帮她搞一个用关键字爬取微博的爬虫,再加上最近很多读者问志斌微博爬虫的问题,今天志斌...
    99+
    2024-04-02
  • 使用python怎么爬取数据
    使用python怎么爬取数据?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Python的优点有哪些1、简单易用,与C/C++、Java、C# 等传统语言相比,P...
    99+
    2023-06-14
  • Python怎么实现微博动态图片爬取
    本篇内容主要讲解“Python怎么实现微博动态图片爬取”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么实现微博动态图片爬取”吧!我们找到微博在浏览器上面用于手机端的调试的APL,如...
    99+
    2023-06-29
  • 怎么用Python爬取微信好友数据
    这篇文章主要介绍了怎么用Python爬取微信好友数据的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇怎么用Python爬取微信好友数据文章都会有所收获,下面我们一起来看看吧。简单介绍下本文中使用到的第三方模块:i...
    99+
    2023-07-06
  • 如何使用python爬取知乎热榜Top50数据
    目录1、导入第三方库2、程序的主函数3、正则表达式匹配数据4、程序运行结果5、程序源代码1、导入第三方库 import urllib.request,urllib.error ...
    99+
    2024-04-02
  • 爬取微博图片数据存到Mysql中遇到的
      由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成。   PS:(本人长期出售超大量...
    99+
    2023-01-31
    数据 图片 爬取微博
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作