iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作
  • 692
分享到

Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作

2024-04-02 19:04:59 692人浏览 独家记忆

Python 官方文档:入门教程 => 点击学习

摘要

本次爬取网站为opgg,网址为:” Http://www.op.gg/champion/statistics” 由网站界面可以看出,右侧有英雄的详细信息,以Garen为例,胜率为5

本次爬取网站为opgg,网址为:” Http://www.op.gg/champion/statistics”

由网站界面可以看出,右侧有英雄的详细信息,以Garen为例,胜率为53.84%,选取率为16.99%,常用位置为上单

现对网页源代码进行分析(右键鼠标在菜单中即可找到查看网页源代码)。通过查找“53.84%”快速定位Garen所在位置

由代码可看出,英雄名、胜率及选取率都在td标签中,而每一个英雄信息在一个tr标签中,td父标签为tr标签,tr父标签为tbody标签。

对tbody标签进行查找

代码中共有5个tbody标签(tbody标签开头结尾均有”tbody”,故共有10个”tbody”),对字段内容分析,分别为上单、打野、中单、ADC、辅助信息

以上单这部分英雄为例,我们需要首先找到tbody标签,然后从中找到tr标签(每一条tr标签就是一个英雄的信息),再从子标签td标签中获取英雄的详细信息

二、爬取步骤

爬取网站内容->提取所需信息->输出英雄数据


gethtmlText(url)->fillHeroInfORMation(hlist,html)->printHeroInformation(hlist)

getHTMLText(url)函数是返回url链接中的html内容

fillHeroInformation(hlist,html)函数是将html中所需信息提取出存入hlist列表中

printHeroInformation(hlist)函数是输出hlist列表中的英雄信息

三、代码实现

1、getHTMLText(url)函数


def getHTMLText(url): #返回html文档信息
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #返回html内容
    except:
        return ""

2、fillHeroInformation(hlist,html)函数

以一个tr标签为例,tr标签内有7个td标签,第4个td标签内属性值为"champion-index-table__name"的div标签内容为英雄名,第5个td标签内容为胜率,第6个td标签内容为选取率,将这些信息存入hlist列表中


def fillHeroInformation(hlist,html): #将英雄信息存入hlist列表
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍历上单tbody标签的儿子标签
        if isinstance(tr,bs4.element.Tag): #判断tr是否为标签类型,去除空行
            tds = tr('td') #查找tr标签下的td标签
            heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
            winRate = tds[4].string #胜率
            pickRate = tds[5].string #选取率
            hlist.append([heroName,winRate,pickRate]) #将英雄信息添加到hlist列表中

3、printHeroInformation(hlist)函数


 def printHeroInformation(hlist): #输出hlist列表信息
     print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","胜率","选取率","位置"))
     for i in range(len(hlist)):
         i = hlist[i]
         print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上单"))

4、main()函数

网站地址赋值给url,新建一个hlist列表,调用getHTMLText(url)函数获得html文档信息,使用fillHeroInformation(hlist,html)函数将英雄信息存入hlist列表,再使用printHeroInformation(hlist)函数输出信息


 def main():
     url = "http://www.op.gg/champion/statistics"
     hlist = []
     html = getHTMLText(url) #获得html文档信息
     fillHeroInformation(hlist,html) #将英雄信息写入hlist列表
     printHeroInformation(hlist) #输出信息

四、结果演示

1、网站界面信息

2、爬取结果

五、完整代码


import requests #导入requests库
import bs4 #导入bs4库
from bs4 import BeautifulSoup #导入BeautifulSoup库
def getHTMLText(url): #返回html文档信息
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text #返回html内容
    except:
        return ""
def fillHeroInformation(hlist,html): #将英雄信息存入hlist列表
    soup = BeautifulSoup(html,"html.parser")
    for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children: #遍历上单tbody标签的儿子标签
        if isinstance(tr,bs4.element.Tag): #判断tr是否为标签类型,去除空行
            tds = tr('td') #查找tr标签下的td标签
            heroName = tds[3].find(attrs = "champion-index-table__name").string #英雄名
            winRate = tds[4].string #胜率
            pickRate = tds[5].string #选取率
            hlist.append([heroName,winRate,pickRate]) #将英雄信息添加到hlist列表中
def printHeroInformation(hlist): #输出hlist列表信息
    print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format("英雄名","胜率","选取率","位置"))
    for i in range(len(hlist)):
        i = hlist[i]
        print("{:^20}\t{:^20}\t{:^20}\t{:^20}".format(i[0],i[1],i[2],"上单"))
def main():
    url = "http://www.op.gg/champion/statistics"
    hlist = []
    html = getHTMLText(url) #获得html文档信息
    fillHeroInformation(hlist,html) #将英雄信息写入hlist列表
    printHeroInformation(hlist) #输出信息
main()

如果需要爬取打野、中单、ADC或者辅助信息,只需要修改


fillHeroInformation(hlist,html)

函数中的


for tr in soup.find(name = "tbody",attrs = "tabItem champion-trend-tier-TOP").children语句

将attrs属性值修改为

"tabItem champion-trend-tier-JUNGLE"

"tabItem champion-trend-tier-MID"

"tabItem champion-trend-tier-ADC"

"tabItem champion-trend-tier-SUPPORT"

等即可!

以上为个人经验,希望能给大家一个参考,也希望大家多多支持编程网。如有错误或未考虑完全的地方,望不吝赐教。

--结束END--

本文标题: Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作

本文链接: https://www.lsjlt.com/news/124133.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • Python爬取OPGG上英雄联盟英雄胜率及选取率信息的操作
    本次爬取网站为opgg,网址为:” http://www.op.gg/champion/statistics” 由网站界面可以看出,右侧有英雄的详细信息,以Garen为例,胜率为5...
    99+
    2024-04-02
  • Python如何爬取英雄联盟贴吧信息
    这期内容当中小编将会给大家带来有关Python如何爬取英雄联盟贴吧信息,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。今天为大家介绍一个实现面向对象构建爬虫对象,爬取英雄联盟贴吧信息的案例,里面涵盖了最最基...
    99+
    2023-06-02
  • 用Python爬取英雄联盟的皮肤详细示例
    目录一、推理原理二、推理代码第一步:获取js字典第二步:从 js字典中提取到key值生成url列表第三步:从 js字典中提取到value值生成name列表第四步:下载并保存数据第五步...
    99+
    2024-04-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作