Gerapy- 基于Scrapy，Scrapyd，Scrapyd-Client，Scrapyd-API，Django和Vue.js的分布式爬虫管理框架
2021-05-05 22:12:40
19.27MB
1
1.从一个给定的网址中分析其所包含的 URL 并爬取对应的网页，直到爬取完全部
不重复的网页为止。
2.支持分布式爬取，同时记录输出每一个网页的大小。
3.采用多线程结构设计，实现高性能的网络爬虫。
2019-12-21 22:13:46
10.42MB
1
采用scrapy-redis爬去京东图书，当当图书和Amazon图书，采用分布式爬虫爬取数据，实现爬虫的暂停和开始，断点再续，URL去重，数据存储等，属于轻量级爬虫
2019-12-21 21:40:26
2.04MB
1