TOP250豆瓣电影短评：Scrapy 爬虫 数据清理/分析 构建中文文本情感分析模型
2021-04-21 07:08:22
73.43MB
1
数据存储使用的是SQlite数据库。使用起来应该比较方便。要浏览的话下个可视化软件就行，我用的是SQLiteStudio。
自己爬的豆瓣电影短评。目前豆瓣似乎对一部电影下能够显示的短评数量做了限制，不登录的话只能爬取少量的短评。
每条短评都有1~5星的用户评分。因为爬取是为了做情感分析，所以我只爬了1~2星和4~5星的评论。总计1~2星评论177714条，4~5星评论224229条。每条评论都注明了所属的电影ID，评论者，评分和评论时间。
2019-12-21 21:32:30
74.82MB
1