python 知乎爬虫（最新） - 后端 - 掘金
环境：python3.x外部依赖包：requestsGitHub项目地址 主要的问题:模拟登陆： 知乎现在改用https请求了，数据加密，但是问题不大，重要的是网页数据改动了，而且在请求时后台会对爬虫做一些判断，因此在每次请求是都需要加上request hea...
单机 30 分钟抓取豆瓣电影 7 万 + 数据：论爬虫策略的重要性 - 后端 - 掘金
首先报告下试验条件和结果：硬件：普通电脑一台（MacPro），IP地址一个，无代理IP语言：使用Python语言中的requests库进行抓取框架：使用自己写的简易爬虫框架PSpider（PSpider框架）速度：开启100个线程，1846 秒抓取 72500...
写个抓取网易云音乐精彩评论的爬虫 - 掘金
被投诉，所以删掉了 我的知乎Live「Python 工程师的入门和进阶」 欢迎关注本人的微信公众号获取更多Python相关的内容（也可以直接搜索「Python之美」）：...
用PHP实现一个简单的爬虫，抓取电影网站的视频下载地址 - 掘金
昨天没什么事，先看一下电影，就用php写了一个爬虫在视频网站上进行视频下载地址的抓取，半个多小时，大约抓取了3万多条ftp地址数据，效果还是可以的。这里总结一下抓取过程中遇到的问题1:通过访问浏览器来执行php脚本这种访问方式其实并不适合用来爬网页，因为要受到...
Laravel 下使用 Guzzle 编写多线程爬虫实战 - 后端 - 掘金
说明 Guzzle 库是一套强大的 PHP Http 请求套件。 本文重点演示如何使用 Guzzle 发起多线程请求。 参考 github 官方用户接口文档 Guzzle 并发请求文档 Laravel LTS 5.1 - Artisan 文档 创建命令 1...
PHP 爬虫之百万级别知乎用户数据爬取与分析 - 后端 - 掘金
这次抓取了110万的用户数据，数据分析结果如下：开发前的准备安装linux系统（ubuntu14.04），在VMWare虚拟机下安装一个Ubuntu；安装PHP5.6或以上版本；安装Mysql5.5或以上版本；安装curl、pcntl扩展。使用PHP的curl...
php 爬虫：知乎用户数据爬取和分析 - 阅读 - 掘金
背景说明：小拽利用php的curl写的爬虫，实验性的爬取了知乎5w用户的基本信息；同时，针对爬取的数据，进行了简单的分析呈现。demo 地址 php的spider代码和用户dashboard的展现代码，整理后上传github，在个人博客和公众号更新代码库，程序...
0