Java爬虫实现爬取京东上的手机搜索页面 HttpCliient+Jsoup

1、需求及配置

需求：爬取京东手机搜索页面的信息，记录各手机的名称，价格，评论数等，形成一个可用于实际分析的数据表格。

使用Maven项目，log4j记录日志，日志仅导出到控制台。

Maven依赖如下（pom.xml）

<dependencies> <dependency> <groupId>org.apache.Httpcomponents</groupId> <artifactId>httpclient</artifactId> <version>4.5.3</version> </dependency> <dependency> <!-- jsoup html parser library @ https://jsoup.org/ --> <groupId>org.jsoup</groupId> <artifactId>jsoup</artifactId> <version>1.11.2</version> </dependency> <!-- https://mvnrepository.com/artifact/log4j/log4j --> <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency> </dependencies>