目录涉及知识点cheerio简介什么是cheerio ?安装cheerio准备工作核心代码示例截图涉及知识点 开发一个小爬虫,涉及的知识点如下所示: https模块,主要是用户获取网
cheerio是为服务器特别定制的,快速、灵活、实施的Jquery核心实现。主要用于在服务端解析html。特点如下所示:
首先在命令行,切换到程序目录,然后输入安装命令进行安装,如下所示:
cnpm install cheerio
安装过程,如下所示:
在编写爬虫之前,首先需要分析目标内容,本次需要爬取的是某网站,星空类型的图片内容,经过分析,发现所有的图片都是在ul下每一个li中的a标签内的img中,本次只需要解析出img的src属性,即可获取图片的下载路径。如下所示:
经过以上分析,通过node.js编写代码,分为两步,获取所有图片的url路径,即解析所有目标img元素的src属性。然后再下载具体图片进行保存即可。
引用所需要的功能模块,如下所示:
var Https = require('https');
var cheerio = require('cheerio');
var fs = require('fs');
获取并解析html页面内容,如下所示:
//爬取的网址
var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html'];
var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'});
for(i in addrs){
(function(num){
var addr = addrs[num];
//创建目录
var p1 = new Promise(function(resolve,reject){
fs.access('./download',function(err){
if(err){
fs.mkdir('./download',function(e){
if(e){
console.log('创建失败');
}
});
}else{
resolve("success");
}
});
});
p1.then(function(datas){
var html='';
var p2 = new Promise(function(resolve,reject){
https.get(addr,function(res){
res.on('data',function(data){
html+=data.toString();
})
res.on('end',function(){
resolve("success");
});
});
});
p2.then(function(data){
//下载完成后,进行解析
const $ =cheerio.load(html);
var lis = $('#img-list-outer').find('li');
for(var j=0;j<lis.length-1;j++){
var li = lis[j];
var src =$(li).find('a').find('img').attr('src');
//console.log(src);
//console.log('-------------------------');
var imgurl='https:'+src;
download(imgurl);
var msg='['+j+']下载成功:'+imgurl;
logger.write(msg+'\n');
console.log(msg);
}
});
});
})(i);
}
注意:因为所有爬取的目标共分为3页,所以用到了循环,并且在循环中用到了闭包。
下载并保存单张图片代码,如下所示:
//下载图片
function download(imgurl){
var p1 = new Promise(function(resolve,reject){
https.get(imgurl,function(res){
var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1);
var stream = fs.createWriteStream('./download/'+imgName);
res.pipe(stream);
setTimeout(function(){
resolve('success');
},300);
});
});
p1.then(function(data){
return;
});
}
开发完成后,运行代码,如下所示
爬取的图片,保存在文件夹中,如下所示:
注意:添加日志,是为了方便记录程序执行过程,对比图片和日志,便于发现问题。
到此这篇关于node.js实现爬取网站图片的示例代码的文章就介绍到这了,更多相关Node.js爬取图片内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!
--结束END--
本文标题: Node.js实现爬取网站图片的示例代码
本文链接: https://www.lsjlt.com/news/145001.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-01-12
2023-05-20
2023-05-20
2023-05-20
2023-05-20
2023-05-20
2023-05-20
2023-05-20
2023-05-20
2023-05-20
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0