前言     为什么要写这个应用？因为博主爱看动漫，但是有些动漫需要VIP，而且有些动漫在我用的那几个视频网站里甚至都搜不到资源，相信爱看动漫的铁汁应该也遇到过这个问题。于是我就想着自己写一个动漫应用，这样就能一站式解决我的看番需求了，因为之前用爬虫写过一个小说APP，所以理由当然的第一时间就想到了用爬虫来完成这个应用。然后找资源网站，实现功能代码，优化观看体验。。。终于，在今天这个应用的1.0.0版本实现了。写下这篇文章一是记录整个开发的流程，便于日后参考，二是分享出来有需要的可以借鉴一下。下面进入正题。 正文 一、寻找合适的网站     这一步就是根据自己需求，去找合适的网站，之后的数据都

多线程下载网站,可以设置下载域名范围,是否图片下载,非网页文件等设置

python豆瓣网站爬虫和可视化，爬取数据并分析数据，抓取top250电影的上映时间、国家、评分、类型、评价人数，豆瓣top250电影类型数量占比，构建top250电影中出自国家最多的20个国家的列表，豆瓣top10电影上映与时间分布等。

[Python爬虫实例项目]使用Python3+scrapy+pymysql爬取某电影网站数万条数据到MySQL数据库源码

这是一款专门针对某个音乐网站的爬虫，可以连续下载其连载曲目，读者可下载并加入自己的需求进行改进，下载曲目默认放在该工程目录下，且分专辑保存。 目前网站前端有所改版，旧版代码所在目录src/luoo，读者可查看src/luoo2目录进行改进。

Wker_网站探测器 V1.5.zip

网站爬虫——图片抓取小工具

EroCoolSpider 爬虫 支持列表页爬取和详情页爬取 所有爬取的图集将位于Gallery文件夹下的对应名称的文件夹内， meta.json中保存的是图集的元信息，如标签，图片数，图片源链接等 支持链接输入或通过启动参数预设爬取链接 BatchDownload.py可以自动多进程批量下载列表页内容 CollectCover.py可以CollectCover.py已下载图集的封面至Cover文件夹（默认为图集已下载图片的第一张） OpenGallery.py可以打开指定名称的图集（而避免使用让人厌烦的Windows搜索功能） .bat文件为已封装的启动命令，各文件和对应功能见于预期的： 文件名 功能 start.bat 无参数启动爬虫 start_batch.bat 启动列表批量下载 start_language_Chinese.bat 爬取中文图集 start_language

Scrapy网站爬虫源码

网站爬虫开发以及SQL注入检测插件.pdf