# emotionAnalysis 疫情背景下，基于情感词典和机器学习对新闻和微博评论的情感分析 # Data Science Basics in SWI, NJU, 2020-Fall > ## 计算社会学：基于NLP技术的新冠疫情下的社会心态研究 Cong Jin , YDJSIR, Sugar Xu‘s project of 2020 Data Science Basic Course in SWI, NJU. 此为发布开源的版本而不是开发环境中使用的版本。 ## 文件结构 ```bash │ LICENSE │ README.md ├─Analyze # 分析数据的过程中所使用的所有代码 ├─Data # 原始数据以及处理过后的所有数据 ├─Report # 报告相关源文件以及最终报告的成品 └─Spyder # 爬虫代码 ``` 文件结构经过事后整理，并不是工作时目录的状态，因而代码中所涉及的路径需要稍加修改后运行。 原始报告数据在评分后抹掉相关关键词后后放出。 > ### `Data`目录下文件结构 > > 该目录下共有6个文件夹，分别对应`stage0` - `stage6` > > ##### stage内文件目录结构 > > ```bash > │ COVkeywords-Stage-.json # 人工筛选后的疫情相关关键词 > │ COVkeywords-Stage.json # 未经筛选的疫情关键词 > │ keywords-Stage.json # 从荔枝新闻中获取的原始结果 > │ ratioByDate.png # 该阶段内每日疫情相关重点微博占比 > │ SaveTest.png # 疫情相关度分布拟合结果图1 > │ SaveTest_Fit.png # 疫情相关度分布拟合结果图2 > │ stageCOVWeibo.json # 该阶段内疫情相关重点微博（按时间先后排序） > │ stageCOVWeiboByImportance.json # 该阶段内疫情相关重点微博（按疫情相关度排序） > | SaveTest-热度.png # 各项热度指标占比 > │ stageInfo.json # 该阶段基础信息 > │ weiboPolar.png # 疫情相关重点微博情感极性图 > | weiboEmotion.png # 当前阶段的疫情相关微博情感倾向 > ├─YYYY-MM-DD- > ├─YYYY-MM-DD- > ├─YYYY-MM-DD- > ├─YYYY-MM-DD- > ... > └─YYYY-MM-DD- > ``` > > ##### 每个日期内文件目录结构 > > ```bash > YYYY-MM-DD > | jstvRAW.csv # 疫情相关关键词检索得到的荔枝新闻原始数据 > | keywords.json # 荔枝新闻正文提取出来的关键词及其乘以100以后的TextRank权值 > | wordcloud.html # 由荔枝新闻生成的词云图 > | blog-Scored.json # 每篇微博都有一个疫情相关度 > | blog-COV.json # 筛选后的新冠疫情相关微博 > | blogInfo.json # 当日博客相关基础信息 > | weiboEmotion.png # 基于心态词典的当日疫情相关微博重点评论情感分析生成的雷达图 > └─weiboEmotion.csv # 基于心态词典的当日疫情相关微博重点评论情感分析原始数据 > ``` ======= # emotionAnalysis 疫情背景下，基于情感词典和机器学习对新闻和微博评论的情感分析

中文情感分析是自然语言处理的一个经典实验，这个实验通过一般通过各种训练好的数据集，对其中的数据进行预处理后采用各种网络模型进行学习和训练最终得到一个良好的loss和acuary之后，把模型保存下来，并输入一句话运行输出这句话的情感是正面还是负面的，最终输出的训练效果和使用的模型、数据集以及训练次数都有关系。

中文情感分析是自然语言处理的一个经典实验，这个实验通过一般通过各种训练好的数据集，对其中的数据进行预处理后采用各种网络模型进行学习和训练最终得到一个良好的loss和acuary之后，把模型保存下来，并输入一句话运行输出这句话的情感是正面还是负面的，最终输出的训练效果和使用的模型、数据集以及训练次数都有关系。这是做的情感分析ppt

NLP实战之keras+LSTM进行京东评论情感分析python，对语料进行简单分析，然后通过jieba分词、word2vec构造词向量，通过LSTM提取情感特征，利用LR二分类，达到准确度0.91897

利用SVM法处理微博文本数据并对其进行情感分类（Python）

细粒度用户评论情感分析 在线评论的细粒度情感分析对于深刻理解商家和用户，挖掘用户情感等方面有实质性的价值，并且在互联网行业有极其广泛的应用，主要用于个性化推荐，智能搜索，产品反馈，业务安全等。 依赖 Python 3.5 PyTorch 0.4 数据集 使用AI Challenger 2018的细粒度用户评论情感分析数据集，共包含6大类20个细粒度要素的情感倾向。 数据说明 数据集中的评价对象按照粒度不同划分为两个层次，层次一为粗粒度的评价对象，例如评论文本中涉及的服务，位置等要素；；层次二为细粒度的情感对象，例如“服务”属性中的“服务人员态度”，“排队等候时间”等细粒度要素。评价对象的具体

近年来，文本情感分析技术在网络营销、企业舆情、舆论等扮演越来越重要的角色。鉴于主题模型在文本挖掘领域的优势，基于主题的文本情感分析技术也成为人们关注的热点，其主要任务是通过挖掘用户评论所蕴含的主题、以及对这些主题的情感偏好，来提高文本情感分析的性能。

餐饮行业评论语料用于情感分类 文件为utf-8编码 共两个文件 分别存放正负面数据 pos.txt文件为正面评论文件 每行一条 共83702条 neg.txt文件为负面评论文件 每行一条 共83702条

本资源以IMDB电影评论情感分析为例，讲解了自然语言处理的基本知识，比如分词、词嵌入技术等。对于IMDB数据的下载、读取和处理也进行了详细的讲解。 本讲建模采用Keras进行，适用于TensorFlow2.1.里面包含可运行源代码，注释详细，PPT，数据。可以参考中国大学MOOC，深度学习应用开发，浙江大学城市学院的课程。