人工智能-hadoop

爬虫技术

知乎爬虫(scrapy默认配置下单机1小时可爬取60多万条数据)

scrapy提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，是一个为爬取网站数据、提取结构性数据而设计的应用程序框架，它可以应用在广泛领域

使用 scrapy, scrapy-redis, graphite 实现的京东分布式爬虫，以 mongodb 实现底层存储。分布式 实现，解决带宽和性能的瓶颈，提高爬取的效率。实现 scrapy-redis 对进行 url 的去重 以及调度，利用redis的高效和易于扩展能够轻松实现高效率下载

1、资源内容：毕业设计lun-wen word版10000字+；开题报告，任务书 2、学习目标：快速完成相关题目设计； 3、应用场景：课程设计、diy、毕业、参赛； 4、特点：直接可以编辑使用； 5、使用人群：设计参赛人员，学生，教师等。 6、使用说明：下载解压可直接使用。 7、能学到什么：通过学习本课题的设计与实现， 学习内部架构和原理，为后续的创作提供一定的设计思路和设计启发 ， 同时也为后续的作品创作提供有力的理论依据、实验依据和设计依据， 例如提供一些开源代码、设计原理和电路图等有效的资料，而且本设计简单， 通俗易通，易于学习，为不同使用者提供学习资源，方便快捷， 是一种有效且实用的，同时也是一份值得学习和参考的资料。

Python3 多线程网络编程与分布式爬虫技术手册

python分布式爬虫打造搜索引擎源码

Python实战：分布式爬虫视频教程+源码，无需编程基础，带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

b站 爬虫将对b站的视频，用户，评论，标签，文章, 在线人数进行抓取。