python自动抓取yahoo finance上的SPY、APPL等期权数据，需要安装xlwt、xlrd、xlutils三个包。抓取到的数据自动生成.xls文件。
2021-05-21 15:42:35
16KB
1
评价我的主管
永久免费开源的导师评估数据，数据爬虫，无需编程基础的展示网页以及新信息补充平台
如果你对编程没有了解，只想检索数据
我写了一个简单的UI方便检索，可以通过如下方式访问：
在线浏览：可以直接访问该，打开即可在线浏览数据。网页前端加载出来之后，要加载一个20MB左右的js数据文件，由于网络原因可能速度比较慢，所以会有一小段时间拖放列表里没有数据，请耐心等待。
离线浏览：点击右上方代码按钮中的下载ZIP，下载文件，然后打开html/index.html立即浏览数据。由于调用了bootstrap和jquery ，所以打开的时候最好保持网络连接（不打开也行啦，就是UI可能有点乱）。
小提示：
如果对GitHub不太熟悉，请直接选择在线浏览。
如果考虑到各种不可抗因素，离线浏览的方式更加安全（毕竟也不知道github有没有不能访问的一天）。
手机应用
为了支持离线浏览，也可以转换成相关的
2021-05-07 20:01:32
20.68MB
1
为了快速地获取到海量微博中的数据,根据微博网页的特点,提出了一种基于Python爬虫程序设计方法.通过模拟登录新浪微博,实时抓取微博中指定用户的微博正文等内容;该工具利用关键词匹配技术,匹配符合规定条件的微博,并抓取相关内容;最后使用该工具对部分微博数据作了一个关于雾霾问题的分析.实验结果表明:本程序具有针对性强、数据采集速度快、易嵌入开发、简单等优点,为不善于编程的研究者提供了快速获取微博的方法,有利于对微博的后续数据挖掘研究.
2021-05-06 12:22:27
214KB
1
爬取获取的Q房网南京二手房数据，仅供参考。本数据集看用来做数据挖掘与分析，通过已有的房屋所处地区、房屋所在板块以及均价，可以恩熙出南京那个板块的小区房价变动趋势最明显。
2021-05-03 17:44:25
65KB
1
这是基于python爬虫技术编程写的外贸电商数据爬虫系统，实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
2021-04-27 13:13:10
42.1MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-26 18:05:33
42.1MB
1
这个软件是通过scrapy爬虫框架结合代理IP池再加上request模拟请求技术以及验证码识别技术，可以做到日更新采集全国新工商信息。采集的数据自动存储在mysql数据库表里，可下载全量1.8亿多企业工商基本信息和36维度的详细信息.支持sql和excel导出数据包格式。
2021-04-23 13:03:41
42.31MB
1