Python 官方文档:入门教程 => 点击学习
python怎样爬取西瓜视频,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。一、写在前面真的,为什么别人发游戏这么多人看,我发了两次了加起来才一百个。算了算了,不整游戏了,反
python怎样爬取西瓜视频,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
真的,为什么别人发游戏这么多人看,我发了两次了加起来才一百个。
算了算了,不整游戏了,反正你们也不爱看~
今天来试试把头条上扭腰上热门的那些妹子爬一爬,不知道我顶不顶得住~
二、准备工作 1、使用的环境 Python 3.8PyCharm 2021.2 专业版 2、要用的第三方模块 seleniumrequestsparsel 三、大致流程
鉴于你们不喜欢我啰嗦,但是流程呢,我还是要给你们写出来,所以我就单独把它列出来了。
网站分析(明确需求) 在视频网页源代码当中找到 embedUrl 对应的链接;在链接当中找到视频播放地址,在元素面板当中;发现规律 embedUrl上面的 groupby_id 其实就是当前视频链接上的id,下载视频的时候 就只需要 一个 id 就可以下载视频。
代码实现过程 构建embedUrl使用selenium访问该链接提取视频链接地址拼接视频链接地址使用requests发送请求 并且获取视频二进制数据保存视频
四、代码展示分析
首先导入一下模块
import requestsfrom selenium import WEBdriver
进入浏览器设置
options = webdriver.ChromeOptions()
构建embedUrl
group_id = input("请输入你要下载视频的id:")url = 'https://www.ixigua.com/embed?group_id=' + group_id
无头浏览器
options.add_argument("--headless")
加一个伪装
options.add_argument('User-Agent="Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
使用selenium访问该链接 driver: 浏览器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
打开一个网页驱动配置: 代码操作浏览器的一个中间人
driver.get(url)
隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行
driver.implicitly_wait(5)
提取视频链接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')video_url = info[0].get_attribute("url")
拼接视频链接地址
video_url = 'Http:' + video_url
使用requests发送请求 并且获取视频二进制数据
video_data = requests.get(video_url).contentwith open('1.mp4', mode='wb') as f: f.write(video_data)
所有代码
import requestsfrom selenium import webdriver# 进入浏览器设置options = webdriver.ChromeOptions()# 1. 构建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238group_id = input("请输入你要下载视频的id:")url = 'https://www.ixigua.com/embed?group_id=' + group_id# 无头浏览器options.add_argument("--headless")# 加一个伪装options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')# 2. 使用selenium访问该链接# driver: 浏览器driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)# 打开一个网页# 驱动配置: 代码操作浏览器的一个中间人driver.get(url)# 隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行driver.implicitly_wait(5)# 3. 提取视频链接地址info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')video_url = info[0].get_attribute("url")# 4. 拼接视频链接地址video_url = 'http:' + video_url# 5. 使用requests发送请求 并且获取视频二进制数据video_data = requests.get(video_url).contentwith open('1.mp4', mode='wb') as f: f.write(video_data)print("爬取成功!!!")#留了报错,看看大家够不够机智找出来
关于Python怎样爬取西瓜视频问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注编程网Python频道了解更多相关知识。
--结束END--
本文标题: Python怎样爬取西瓜视频
本文链接: https://www.lsjlt.com/news/300505.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0