这是一个spider网络爬虫源代码，用c++完成的，主要是为搜索引擎研究者提供很好的材料，为初学者提供代码。大家可以互相学习学习。

通过go语言爬取新版正方教务系统成绩。主要流程有模拟登陆和爬取成绩数据。。

python小脚本，简单，易用，快速

一些非常有趣的python爬虫例子，对新手比较友好 项目简介 一些常见的网站爬虫例子，代码通用性较高，时效性较久。项目代码对新手比较友好，尝试用简单的python代码，并带有大量注释。 如何下载 没有或不懂如何设置代理的中国用户，可迁移至最高仓库进行下载，刹车获得较快的下载速度。 使用教程 下载chrome浏览器 查看chrome浏览器的版本号，版本号的chromedriver驱动 pip安装下列包 点安装Selenium 此处登录微博，并通过微博绑定淘宝账号密码 在主要中填写chromedriver的绝对路径 在主要中填写微博账号密码 #改成你的chromedriver的完整路径地址 ch

国家统计用区划代码和城乡划分代码---源码、详细分析、数据 2019.05.25更新： 添加了爬虫代码使用说明 添加了依赖requirements.txt 2018.12.02更新： 修改，添加了中山市/东莞市下面没有区级单位的异常处理 页面源码的编码为GB2312，实际为GBK，因此手工指定编码为GBK： 2018.11.30更新： 更新village.csv文件，按照code顺序从小到大排列，看起来更方便 更新数据总结中的错误 2018.11.10更新： 缺失数据补充: 一、本仓库介绍 统计局网站提供的按照：省-市-县-镇-村这样的层次关系来组织页面。统计局的网站对于爬虫的限制也不多，我只使用一个ip就爬取全部数据，爬取的过程中请求被拒绝的情况很少。 本仓库包含： 代码文件： 2016年统计用区划代码和城乡划分代码数据文件： 页面分析、代码详细说明见个人博客： Pytho

首先，简单介绍下网络爬虫 　　网络爬虫是通过网页的链接地址来寻找网页，从网站某一个页面（设置为主页）开始，读取网页的内容，找到网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到这个网站所有的网页都抓取完为止。实际上，由于抓取技术的限制以及存储技术、处理技术的限制，要完全抓取网站的所有网页是不可能的，也是不实际的！本着从用户需要为出发点，实际需要抓取的网页往往是有限的，只需抓取符合用户要求的网页即可！ 抓取网页的策略 在抓取网页的时候，网络爬虫一般有两种策略（即两种搜索方法），广度优先和深度优先。 广度优先：是指网络爬虫会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此页面中链接的所有页面。这是最常用的方式，广度优先的搜索策略可以并行处理，提高抓取速度。 深度优先：是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这种策略较易实现，但是抓取速度慢。 由于一般不可能抓取网站的所有链接，一般会设置访问层数，即搜索深度。起始页的深度为0，起始页中的链接url深度为1，依此类推。 构造C#语言的爬虫程序 C#已经封装了HTTP访问和多线程，这对编写网络爬虫提供了方便，而要C#网络爬虫程序需要解决以下问题： HTML分析：需要某种HTML解析器来分析爬虫程序遇到的每一个页面。 页面处理：需要处理每一个下载得到的页面。下载得到的内容需要保存起来，以便进一步分析处理。

Spider_DouBan_Book 帮大四学长的毕设搞一点豆瓣的图书数据，已经上传了sql文件，只爬了3000+本书，15000+评论数据，数据库Mysql。

该项目代码使用Python爬虫，实现对项目外包网站TaskCity的项目信息抓取。并将信息保存到Excel文件中。

作者简介 作者 QQ交流群 个人博客 项目详情请参考微信原文链接： 如有疑问可通过公众号找到作者，微信扫描下方二维码或者在微信内搜索 微信公众号：月小水长（ID:inspurer)； WeiboSuperScrapy 最强微博爬虫，用户、话题、评论一网打尽。 GUI 功能集中版 运行 GUI.py 即可爬取用户/话题微博 运行 WeiboCommentScrapy.py 并修改里面的微博id (wid) 即可爬取指定微博的所有评论。 无 GUI 功能独立版 单独的 py 文件分别对立一个 功能 WeiboCommentScrapy.py 爬取评论 WeiboTopicScrapy.py 爬取指定关键词的所有微博，突破了 50 页的限制，可指定截至日期时间段搜索（比如 20200101-20200102） WeiboSuperCommentScrapy.py 可爬取一条微博的所有评论，更

使用时为matlab+spider+Weka；因为spider中的一些算法引用了Weka