东方财富网个股研报信息爬虫说明文档
介绍
东方财富网爬虫是一个基于Scrapy-Selenium框架爬取东方财富网的个股研报标题、个股信息以及收益的爬虫。
代码说明
运行环境
Windows 10 专业版
Python 3.5/Scrapy 1.5.0/MongoDB 3.4.7
依赖包
Requests
Pymongo
Selenium 3.11.0
Faker(随机切换User-Agent)
爬取结果
在东方财富网上总共爬取了16791条个股研报信息。结果由爬虫先存储在MongoDB中,再导出为Excle文件。部分数据如下截图:
2022-04-08 19:59:38
1.96MB
Python
1