广告
返回顶部
首页 > 资讯 > 后端开发 > Python >web自动化爬虫selenium ce
  • 175
分享到

web自动化爬虫selenium ce

爬虫webce 2023-01-31 08:01:51 175人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

基本环境:Centos7,python3.x 1.安装selenium pip3 install selenium 2.安装chrome-browser wget https://dl.Google.com/linux/d... --no

基本环境:Centos7,python3.x

1.安装selenium

pip3 install selenium

2.安装chrome-browser

wget https://dl.Google.com/linux/d... --no-check-certificate

yum install ./google-chrome-stable_current_x86_64.rpm

3.下载chromedriver(注意要和chrome-browser版本对应)

1254109F0E439D718CC399416C7238D3.png

由于下载的chrome-browser是70版本的,所以chromedriver 选择了2.43版本

wget Http://chromedriver.storage.g...

解压此文件,并将文件移动到/usr/bin目录下

unzip chromedriver_linx64.zip

mv chromedriver /usr/bin/

4.测试selenium是否可用,请执行以下python脚本,如返回html内容,则说明安装成功

from selenium import WEBdriver
url='http://bing.com'
option = webdriver.ChromeOptions()
option.add_argument('--no-sandbox')
option.add_argument('--headless')
driver = webdriver.Chrome(chrome_options=option)
driver.get(url)
print(driver.page_source)
注意需要加上,禁止在沙箱中运行

option.add_argument('--no-sandbox')
option.add_argument('--headless')

补充:

安装firefox支持

yum install firefox

yum install Xvfb

yum install libXfont

pip3 install pyvirtualdisplay

测试脚本

from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800,600))
display.start()
driver = webdriver.Firefox()
driver.get('https://www.baidu.com')
print(driver.title)
driver.quit()
display.stop()

--结束END--

本文标题: web自动化爬虫selenium ce

本文链接: https://www.lsjlt.com/news/193347.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • web自动化爬虫selenium ce
    基本环境:centos7,python3.x 1.安装selenium pip3 install selenium 2.安装chrome-browser wget https://dl.google.com/linux/d... --no...
    99+
    2023-01-31
    爬虫 web ce
  • Python-Selenium自动化爬虫
    目录1.安装2.下载浏览器驱动3.实例3.1下载对应版本的浏览器驱动3.2测试code,打开一个网页,并获取网页的标题3.3一个小样例3.4自动输入并跳转4.开启无头模式5.保存页面...
    99+
    2022-11-13
  • Python爬虫之Web自动化测试工具Selenium&&Chrome handless
    ​ ​ @作者 : SYFStrive @博客首页 : HomePage 🥧 上一篇续文传送门 📌:个人社区(欢迎大佬们加入) 👉:社区链接...
    99+
    2023-09-06
    python chrome 爬虫
  • Python Selenium自动化爬虫的方法是什么
    本篇内容主要讲解“Python Selenium自动化爬虫的方法是什么”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python Selenium自动化爬虫的方法是什么”吧!简单介绍:Selen...
    99+
    2023-06-28
  • 一篇文章带你了解Python之Selenium自动化爬虫
    目录Python之Selenium自动化爬虫0.介绍1.安装2.下载浏览器驱动3.实例4.开启无头模式5.保存页面截图6.模拟输入和点击a.根据文本值查找节点b.获取当前节点的文本c...
    99+
    2022-11-13
  • python爬虫之利用selenium模块自动登录CSDN
    目录一、页面分析二、引入selenium模块及驱动2.1 并将安装好的Chromedriver.exe引入到代码中2.2 浏览器驱动引入三、爬虫模拟登录3.1 设置网址链接3.2 切...
    99+
    2022-11-12
  • Selenium java自动化
    文章目录 1. Selenium的安装2. 了解自动化和selenium2.1 什么是自动化以及为什么要做2.2为什么选择selenium作为我们的文本自动化工具2.3 环境部署2.4什么驱动...
    99+
    2023-09-11
    selenium java 自动化
  • 怎么使用selenium+unittest实现web自动化
    今天小编给大家分享一下怎么使用selenium+unittest实现web自动化的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧...
    99+
    2023-07-05
  • Python自动化开发学习-爬虫3(性能
    讲师的博客:https://www.cnblogs.com/wupeiqi/p/6229292.html在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。比如找10个国外的资源...
    99+
    2023-01-31
    爬虫 性能 Python
  • 基于Selenium+Python的web自动化测试框架
    一、什么是Selenium?Selenium是一个基于浏览器的自动化测试工具,它提供了一种跨平台、跨浏览器的端到端的web自动化解决方案。Selenium主要包括三部分:Selenium IDE、Selenium WebDriver 和Se...
    99+
    2023-06-04
  • selenium+unittest实现web自动化的示例代码
    前面我们学习unittest 的目的是用它编写 Web 自动化测试用例,所以接下来会将 unittest 与Selenium 结合起来写一个 Web 自动化测试的例子。 我们仍以百度...
    99+
    2023-03-02
    selenium unittest web自动化 selenium unittest 自动化
  • Python爬虫 自动爬取图片并保存
    一、准备工作   用python来实现对图片网站的爬取并保存,以情绪图片为例,搜索可得到下图所示 f12打开源码 在此处可以看到这次我们要爬取的图片的基本信息是在img - scr中 二、代码实现 这次的爬取主要用了如下的第三方库...
    99+
    2023-10-09
    爬虫 python 数据挖掘
  • python+selenium的web自动化上传操作的实现
    目录一、关于上传操作二、input标签三、第三方库pywin32四、第三方工具pyautogui总结一、关于上传操作 上传有两种情况: 如果是input可以直接输入路径的,那么直接使...
    99+
    2022-11-11
  • Python结合Selenium简单实现Web自动化测试
    这篇文章是入门级别的应用Python + Selenium进行自动化测试,包括环境搭建及简单的实例。基本思想是用Firefox Selenium IDE插件录制脚本并生成Python...
    99+
    2022-11-12
  • python selenium自动化测试
    python selenium自动化测试项目实战,Selenium3自动化测试,Python3 测试21套高级软件测试,性能测试,功能测试,自动化测试,接口测试,移动端测试,手机测试,WEB测试,***测试,测试用例设计,黑盒测试,白盒测试...
    99+
    2023-01-31
    测试 python selenium
  • selenium+Python自动化测试
    Python 3.3版本# coding = utf-8from selenium import webdriverdriver = webdriver.Chrome()driver.get('http://www.baidu.com')p...
    99+
    2023-01-31
    测试 selenium Python
  • Python爬虫实现自动化爬取b站实时弹幕的方法
    这篇文章主要介绍了Python爬虫实现自动化爬取b站实时弹幕的方法,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。Python主要用来做什么Python主要应用于:1、Web开...
    99+
    2023-06-14
  • Linux系统如何使用Selenium自动化Web浏览器
    这篇文章主要介绍了Linux系统如何使用Selenium自动化Web浏览器,具有一定借鉴价值,感兴趣的朋友可以参考下,希望大家阅读完这篇文章之后大有收获,下面让小编带着大家一起了解一下。Selenium 是一个用于Web应用程序测试的工具。...
    99+
    2023-06-28
  • 基于Selenium+Python的web自动化测试框架详解
    目录 一、什么是Selenium? 二、自动化测试框架 三、自动化框架的设计和实现 四、需要改进的模块 五、总结 一、什么是Selenium? Selenium是一个基于浏览器的自动化测试工具,它提供了一种跨平台、跨浏览器的端到端的we...
    99+
    2023-09-28
    python selenium 前端 pytest 职场和发展 自动化 运维
  • 学会Python+Selenium,分分钟搭建Web自动化框架!
    用python+selenium实现UI自动化测试,要有一些HTML和xpth的基础,当然python基础一定是必须要会的。笔者建议花点时间了解下相关基础知识,不至于后面发懵。一、什么是selenium?selenium是个强大的工具集。支...
    99+
    2023-06-05
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作