返回顶部
首页 > 资讯 > 后端开发 > Python >Seleninum&PhamtomJS爬取煎蛋网妹子图
  • 945
分享到

Seleninum&PhamtomJS爬取煎蛋网妹子图

煎蛋妹子Seleninum 2023-01-30 22:01:09 945人浏览 泡泡鱼

Python 官方文档:入门教程 => 点击学习

摘要

目标网站:需要爬取的网站:http://jandan.net/ooxx 目标分析:先找到总页数,即可以利用selenium的模拟点击到下一个页面找到每个图片的地址:右键检查图片的代码,找到图片的代码爬虫代码:创建一个getJianDan.p

目标网站:

需要爬取的网站:http://jandan.net/ooxx

blob.png


目标分析:

先找到总页数,即可以利用selenium的模拟点击到下一个页面

blob.png


找到每个图片的地址:

右键检查图片的代码,找到图片的代码

blob.png



爬虫代码:

创建一个getJianDan.py文件,代码如下:

#!/usr/bin/env pythoncoding: utf-8
from selenium import WEBdriver
from mylog import MyLog as mylog
import JSON
import os
import urllib.request
import time


class GetJianDan(object):
    """the all data from jandan.net
    所有数据来自煎蛋网
    """
    def __init__(self):
        self.startUrl = 'Http://jandan.net/ooxx'
        self.log = mylog()
        self.browser = self.getBrowser()
        self.getPageNext(self.browser)

    def getBrowser(self):
        try:
            # 方法一: 指定Phantomjs的路径
            #browser = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe")
            # 方法二: 复制PhantomJS.exe到C:\python35目录下(Python安装目录下)
            browser = webdriver.PhantomJS()
            browser.get(self.startUrl)   # 打开目标网站
            browser.implicitly_wait(20)  # 等待js代码加载完毕
        except Exception as e:
            self.log.error('open the %s failed:%s' % (self.startUrl, e))
        else:
            return browser

    def saveImg(self, browser):
        # 找到所有图片的标签,返回一个list
        elements = browser.find_elements_by_xpath('//ol[@class="commentlist"]//div[@class="row"]\
        //div[@class="text"]')
        for element in elements:
            src = element.find_element_by_xpath("./p//img").get_attribute('src')    # img 下载地址
            imgName = element.find_element_by_xpath("./span/a").text    # img 名字
            suffix_name = os.path.splitext(src)[1]  # img后缀名
            # 判断图片后缀是否为.gif,如果是则获取org_src属性
            if suffix_name == '.gif':
                # 重新赋值给src,这样爬取的才是动态的gif图片
                src = element.find_element_by_xpath("./p//img").get_attribute('org_src')
            full_name_img = imgName + suffix_name  # img完整名字
            try:
                # 下载图片,需要传入(图片下载地址,img完整名字带后缀名)
                urllib.request.urlretrieve(src, full_name_img)
                time.sleep(1)  # 设置下载延迟,防止被封
            except Exception as e:
                self.log.error('%s download failed, %s' % (full_name_img, e))
            else:
                self.log.info('%s download success' % full_name_img)

    def createDir(self, dirName):
        """创建目录"""
        if os.path.exists(dirName):
            self.log.error('create directory %s failed, have a sane name file or directory' % dirName)
        else:
            try:
                os.makedirs(dirName)
            except Exception as e:
                self.log.error('create directory %s failed : %s' % (dirName, e))
            else:
                self.log.info('create directory %s success' % dirName)

    def getPageNext(self, browser):
        # 获取总页数
        sumPage = json.loads(browser.find_element_by_xpath("//div[@class='comments']/\
        div[@class='cp-pagenavi']/span[last()]").text)
        cartoonTitle = browser.title  # 获取目录名
        self.createDir(cartoonTitle)  # 创建存储图片目录
        os.chdir(cartoonTitle)  # 进入创建的目录
        i = 1
        while i <= sumPage[0]:
            self.saveImg(self.browser)
            i += 1
            self.log.info('开始爬取第%d页' % i)
            # 利用selenium点击下一页,获取下一页的内容
            NextTag = browser.find_element_by_partial_link_text("下一页").click()
            browser.implicitly_wait(30)  # 等待加载js代码
            time.sleep(3)
        self.log.info('save img success')
        browser.quit()


if __name__ == '__main__':
    st = GetJianDan()


mylog.py日志文件代码如下:

#!/usr/bin/env python
# coding: utf-8
import logging
import getpass
import sys


# 定义MyLog类
class MyLog(object):
    def __init__(self):
        self.user = getpass.getuser()  # 获取用户
        self.logger = logging.getLogger(self.user)
        self.logger.setLevel(logging.DEBUG)

        # 日志文件名
        self.logfile = sys.argv[0][0:-3] + '.log'  # 动态获取调用文件的名字
        self.fORMatter = logging.Formatter('%(asctime)-12s %(levelname)-8s %(message)-12s\r\n')

        # 日志显示到屏幕上并输出到日志文件内
        self.logHand = logging.FileHandler(self.logfile, encoding='utf-8')
        self.logHand.setFormatter(self.formatter)
        self.logHand.setLevel(logging.DEBUG)

        self.logHandSt = logging.StreamHandler()
        self.logHandSt.setFormatter(self.formatter)
        self.logHandSt.setLevel(logging.DEBUG)

        self.logger.addHandler(self.logHand)
        self.logger.addHandler(self.logHandSt)

    # 日志的5个级别对应以下的5个函数
    def debug(self, msg):
        self.logger.debug(msg)

    def info(self, msg):
        self.logger.info(msg)

    def warn(self, msg):
        self.logger.warn(msg)

    def error(self, msg):
        self.logger.error(msg)

    def critical(self, msg):
        self.logger.critical(msg)


if __name__ == '__main__':
    mylog = MyLog()
    mylog.debug(u"I'm debug 中文测试")
    mylog.info(u"I'm info 中文测试")
    mylog.warn(u"I'm warn 中文测试")
    mylog.error(u"I'm error 中文测试")
    mylog.critical(u"I'm critical 中文测试")


运行主程序getJianDan.py

Pycharm运行结果

XF[RNQW%82TFWANO~F8%9(4.png


下载图片截图:

blob.png


代码分析:

mylog.py  日志模块,记录一些爬取过程中的信息,在大量爬取的时候,没有log帮助定位,很难找到错误点


主程序:

getJianDan.py 主程序

getBrowser  打开目标网站,并返回内容

saveImg  处理每个页面img,并下载

createDir   创建图片保存目录

getPageNext  模拟用户点击下一页行为,发起新的请求

--结束END--

本文标题: Seleninum&PhamtomJS爬取煎蛋网妹子图

本文链接: https://www.lsjlt.com/news/179166.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

猜你喜欢
  • Seleninum&PhamtomJS爬取煎蛋网妹子图
    目标网站:需要爬取的网站:http://jandan.net/ooxx 目标分析:先找到总页数,即可以利用selenium的模拟点击到下一个页面找到每个图片的地址:右键检查图片的代码,找到图片的代码爬虫代码:创建一个getJianDan.p...
    99+
    2023-01-30
    煎蛋 妹子 Seleninum
  • python-python爬取妹子图片
    1 # -*- conding=utf-8 -*- 2 3 import requests 4 from bs4 import BeautifulSoup 5 import io 6 7 url = "ht...
    99+
    2023-01-30
    妹子 图片 python
  • 使用Python爬虫爬取妹子图图片
            最近在学习Python的爬虫部分。看到有网友在分享使用爬虫爬取各种网站的图片的代码,也想自己写个玩玩。今天花时间分析了一下妹子图网站的结构和HTML代码,使用urllib2和BeautifulSoup写出了一个自动下载妹子图...
    99+
    2023-01-31
    爬虫 妹子 图图
  • Media Pipeline如何爬取妹子图
    这篇文章给大家介绍Media Pipeline如何爬取妹子图,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。前言我们在抓取数据的过程中,除了要抓取文本数据之外,当然也会有抓取图片的需求。那我们的 scrapy 能爬取图片...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作