广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python制作最美应用的爬虫
  • 191
分享到

python制作最美应用的爬虫

爬虫最美python 2022-06-04 19:06:48 191人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

安卓最美应用页面爬虫,爬虫很简单,设计的东西到挺多的 文件操作 正则表达式 字符串替换等等 import requests import re url = "Http://zuimeia.com" r

安卓最美应用页面爬虫,爬虫很简单,设计的东西到挺多的
文件操作
正则表达式
字符串替换等等


import requests
import re
url = "Http://zuimeia.com"
r = requests.get('http://zuimeia.com/commUnity/app/hot/?platfORM=2')
pattern = re.compile(r'<a class="community-app-cover-wrapper" href="(.*?)" target="_blank">')
urlList = pattern.findall(r.content)

def requestsUrl(url):
 r = requests.get(url)
 title = re.findall(r'"app-title"><h1>(.*?)</h1>',r.content)
 #print title
 cateGory = re.findall(r'<a class="app-tag" href="/community/app/category/title/.*?/?platform=2">(.*?)</a>',r.content)
 #print category

 describe = re.findall(r'<div id="article_content">(.*?)<div class="community-image-wrapper">',r.content)
 #print type(describe[0])
 strdescribe = srtReplace(describe[0])
 #print strdescribe

 downloadUrl = re.findall(r'<a class="download-button direct hidden" href="(.*?)"',r.content)
 #print downloadUrl

 return title,category,strdescribe,downloadUrl

def srtReplace(string):
 listReplace = ['<p>', '<br>', '<h1>', '<h2>', '<h3>', '<h4>', '<h5>', '<h6>', '<h7>','<strong>','</p>', '<br/>', '</h1>', '</h2>', '</h3>', '</h4>', '</h5>',
     '</h6>', '</h7>','</strong>','<b>', '</b>']
 for eachListReplace in listReplace:
  string = string.replace(str(eachListReplace),'n')

 string = string.replace('nn','')
 return string

def categornFinal(category):
 categoryFinal =''
 for eachCategory in category:
  categoryFinal = categoryFinal+str(eachCategory)+'-->'
 return categoryFinal

def urlReplace(url):
 url = url.replace('&', '&')
 return url

requestsUrl("http://zuimeia.com/community/app/27369/?platform=2")
for eachUrl in urlList:
 eachUrl = url+eachUrl
 content = requestsUrl(eachUrl)
 categoryFinal =''

 title = content[0][0]
 category = categornFinal(content[1])
 strdescribe = content[2]
 downloadUrl = urlReplace(content[3][0])

 with open('c:/wqa.txt', 'a+') as fd:
  fd.write('title:'+title+'n'+'category:'+category+'n'+'strdescribe:'+strdescribe+'n'+'downloadUrl:'+downloadUrl+'nnn-----------------------------------------------------------------------------------------------------------------------------nnn')

--结束END--

本文标题: python制作最美应用的爬虫

本文链接: https://www.lsjlt.com/news/15702.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python制作最美应用的爬虫
    安卓最美应用页面爬虫,爬虫很简单,设计的东西到挺多的 文件操作 正则表达式 字符串替换等等 import requests import re url = "http://zuimeia.com" r ...
    99+
    2022-06-04
    爬虫 最美 python
  • Python制作爬虫抓取美女图
      作为一个新世纪有思想有文化有道德时刻准备着的潘磕星嗄辏谙衷谡庋桓錾缁嶂校奶畚掖舐サ种拼蟀俣鹊那疤嵯拢皇露仙贤涔Y看看斗鱼翻翻美女图片那是必不可少的,可是美图虽多翻页费劲!今天我们就搞个爬虫把美图都给扒下...
    99+
    2022-06-04
    爬虫 美女图 Python
  • python制作花瓣网美女图片爬虫
    花瓣图片的加载使用了延迟加载的技术,源代码只能下载20多张图片,修改后基本能下载所有的了,只是速度有点慢,后面再优化下 import urllib, urllib2, re, sys, os,reque...
    99+
    2022-06-04
    爬虫 花瓣 美女
  • Python制作简单的网页爬虫
    1.准备工作: 工欲善其事必先利其器,因此我们有必要在进行Coding前先配置一个适合我们自己的开发环境,我搭建的开发环境是: 操作系统:Ubuntu 14.04 LTS Python版本:2.7.6 ...
    99+
    2022-06-04
    爬虫 简单 网页
  • python爬虫中分布式爬虫的作用是什么
    这篇文章给大家分享的是有关python爬虫中分布式爬虫的作用是什么的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。随着大数据时代的来临,大数据也吸引了越来越多的关注。网络爬虫是一种高效的信息抓取工具,它集成了搜索引...
    99+
    2023-06-15
  • 关于python爬虫应用urllib库作用分析
    目录一、urllib库是什么?二、urllib库的使用urllib.request模块urllib.parse模块利用try-except,进行超时处理status状态码 &...
    99+
    2022-11-12
  • 利用Node.js制作爬取大众点评的爬虫
    前言 Node.js天生支持并发,但是对于习惯了顺序编程的人,一开始会对Node.js不适应,比如,变量作用域是函数块式的(与C、Java不一样);for循环体({})内引用i的值实际上是循环结束之后的值,...
    99+
    2022-06-04
    爬虫 大众 点评
  • python爬虫怎么利用requests制作代理池s
    本篇内容介绍了“python爬虫怎么利用requests制作代理池s”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!  爬取代理然后验证代理,...
    99+
    2023-06-02
  • 使用Python的urllib和urllib2模块制作爬虫的实例教程
    urllib 学习python完基础,有些迷茫.眼睛一闭,一种空白的窒息源源不断而来.还是缺少练习,遂拿爬虫来练练手.学习完斯巴达python爬虫课程后,将心得整理如下,供后续翻看.整篇笔记主要分以下几个部...
    99+
    2022-06-04
    爬虫 实例教程 模块
  • Python爬虫的并发编程如何应用
    这篇文章主要讲解了“Python爬虫的并发编程如何应用”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Python爬虫的并发编程如何应用”吧!什么是并发编程并发编程是指在一个时间段内,能够执行...
    99+
    2023-07-06
  • python爬虫代理池的作用是什么
    Python爬虫代理池的作用是提供一系列可用的代理IP地址,用于在爬虫程序中轮流使用,以避免对目标网站的访问过于频繁而被封IP或限制...
    99+
    2023-10-11
    python
  • Python爬虫中的并发编程怎么应用
    什么是并发编程并发编程是指在一个时间段内,能够执行多个操作的程序设计,通常表现为程序中有多个任务同时启动,可以运行并且相互之间不会产生影响。并发编程的好处是可以提高程序的性能和响应能力。并发编程在爬虫中的应用爬虫程序是典型的 I/O 密集型...
    99+
    2023-05-14
    Python
  • python中Scrapy爬虫框架的作用有哪些
    本文章向大家介绍python中Scrapy爬虫框架的作用有哪些,主要包括python中Scrapy爬虫框架的作用有哪些的使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。python可以做什么Py...
    99+
    2023-06-06
  • 如何分析Python多线程在爬虫中的应用
    本篇文章为大家展示了如何分析Python多线程在爬虫中的应用,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。作为测试工程师经常需要解决测试数据来源的问题,解决思路无非是三种:直接从生产环境拷贝真实数据...
    99+
    2023-06-04
  • python爬虫实战之制作属于自己的一个IP代理模块
    目录一、使用PyChram的正则二、制作一个随机User-Agent模块三、最终实践3.1 爬取快代理上的ip3.2 验证爬取到的ip是否可用3.3 实战:利用爬取到的ip访问CSDN博客网址1000次四、总结一、使...
    99+
    2022-06-02
    Python自制IP代理模块 python ip代理
  • 使用JavaIO流和网络制作一个简单的图片爬虫
    目录Java IO流和网络的简单应用Java IO 流和 URL 类Java IO流URL 类Java 爬虫ClientDataProcessUtilDownLoadUtilWind...
    99+
    2023-05-14
    JavaIO流 网络 JavaIO流爬虫 图片爬虫
  • 如何使用Python3制作一个带GUI界面的小说爬虫工具
    这篇文章主要介绍如何使用Python3制作一个带GUI界面的小说爬虫工具,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!效果图最近帮朋友写个简单爬虫,顺便整理了下,搞成了一个带GUI界面的小说爬虫工具,用来从笔趣阁爬取...
    99+
    2023-06-29
  • 怎么使用Java IO流和网络制作一个简单的图片爬虫
    这篇文章主要介绍“怎么使用Java IO流和网络制作一个简单的图片爬虫”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“怎么使用Java IO流和网络制作一个简单的图片爬虫”文章能帮助大家解决问题。Ja...
    99+
    2023-07-05
  • 怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影
    这篇文章主要讲解了“怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么用Python网络爬虫来看看最近电影院都有哪些上映的电影”吧...
    99+
    2023-06-16
  • 怎样巧用ip代理解决python爬虫运行被封锁被限制的难题
    这篇文章将为大家详细讲解有关怎样巧用ip代理解决爬虫运行被封锁被限制的难题,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。如何解决采集数据IP被封锁限制的难题以破解天眼查网络爬虫为例  小编3...
    99+
    2023-06-02
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作