包含机器学习、深度学习以及NLP常用的几款数据集，很适合收藏

word2vec 训练得到的词向量文件，最近学nlp，可以直接使用

中科大自然语言理解期末资料，含08/12/20年试卷，21年回忆版在博客中，期末开卷，打印资料中最长的那个pdf和老师PPT就够了

《深度学习之多标签图片分类（PyTorch版） 》课程从实战的角度出发，基于真实数据集并结合实际业务出发点，介绍深度学习多标签图片分类通用解决方案，通过本课程，彻底掌握多标签图片分类项目。   从0到1讲解如何场景业务分析、进行数据处理，模型训练与调优，最后进行测试与结果展示分析。全程实战操作，以最接地气的方式详解每一步流程与解决方案。   老师的授课风格： 以实战为主，结合理论，让大家彻底掌握图片多标签提取解决方案和项目实战。

适用于MATLAB的多种solver接口

### 语言模型 #### 数据预处理 中文语言模型基本都是基于字的模型，因此不需要做太多的操作 #### 文件结构介绍 * config文件：配置各种模型的配置参数 * data：存放训练集和测试集 * data_helpers：提供数据处理的方法 * ckpt_model：存放checkpoint模型文件 * pb_model：存放pb模型文件 * outputs：存放vocab，word_to_index, label_to_index, 处理后的数据 * models：存放模型代码 * trainers：存放训练代码 * predictors：存放预测代码 #### 训练模型 * python train.py --config_path="config.json" #### 预测模型 * 预测代码都在predict.py中，初始化Predictor对象，调用predict方法即可。 * 执行python test.py文件可以生成诗词 #### 模型的配置参数详述 #### char rn：字符级的rnn，基于字符的语言模型 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidden_sizes：rnn隐层大小 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * keep_prob：保留神经元的比例 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径

### 文本分类 #### 数据预处理 要求训练集和测试集分开存储，对于中文的数据必须先分词，对分词后的词用空格符分开，并且将标签连接到每条数据的尾部，标签和句子用分隔符\分开。具体的如下： * 今天 的 天气 真好\积极 #### 文件结构介绍 * config文件：配置各种模型的配置参数 * data：存放训练集和测试集 * ckpt_model：存放checkpoint模型文件 * data_helpers：提供数据处理的方法 * pb_model：存放pb模型文件 * outputs：存放vocab，word_to_index, label_to_index, 处理后的数据 * models：存放模型代码 * trainers：存放训练代码 * predictors：存放预测代码 #### 训练模型 * python train.py --config_path="config/textcnn_config.json" #### 预测模型 * 预测代码都在predictors/predict.py中，初始化Predictor对象，调用predict方法即可。 #### 模型的配置参数详述 ##### textcnn：基于textcnn的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * num_filters：卷积核的数量 * filter_sizes：卷积核的尺寸 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm：基于bilstm的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidden_sizes：lstm的隐层大小，列表对象，支持多层lstm，只要在列表中添加相应的层对应的隐层大小 * batch_size：批样本大小 * sequence_length：序列长度 * vocab_size：词汇表大小 * num_classes：样本的类别数，二分类时置为1，多分类时置为实际类别数 * keep_prob：保留神经元的比例 * l2_reg_lambda：L2正则化的系数，主要对全连接层的参数正则化 * max_grad_norm：梯度阶段临界值 * train_data：训练数据的存储路径 * eval_data：验证数据的存储路径 * stop_word：停用词表的存储路径 * output_path：输出路径，用来存储vocab，处理后的训练数据，验证数据 * word_vectors_path：词向量的路径 * ckpt_model_path：checkpoint 模型的存储路径 * pb_model_path：pb 模型的存储路径 ##### bilstm atten：基于bilstm + attention 的文本分类 * model_name：模型名称 * epochs：全样本迭代次数 * checkpoint_every：迭代多少步保存一次模型文件 * eval_every：迭代多少步验证一次模型 * learning_rate：学习速率 * optimization：优化算法 * embedding_size：embedding层大小 * hidd

自然语言处理作业 ，实现序列标注、人名地名机构名的命名实体识别 Bi-LSTM+CRF条件随机场 pytorch实现 PS：资源的下载积分会随下载次数自动增加越来越多，如果您积分不够的话可以私信我重置下载分数

本章节主要研究内容：基于PyTorch 深度学习工具来完成短文本分类 知识点 业务需求 文本分类应用场景、技术方案以及挑战 技术架构 文本分析 词向量 CNN 原理 tensorboardX 可视化 项目实战： 基于TextCNN短文本分类，主要从数据预处理、构建此表、Embedding、模型训练、tensorboardX可视化以及在线服务几个重要的环境进行学习 文本分类应用场景 文章分类服务对文章内容进行深度分析，输出文章的主题一级分类、主题二级分类及对应的置信度，该技术在个性化推荐、文章聚合、文本内容分析等场景具有广泛的应用价值. 新闻分类 根据文本描述的内容方向，针对新闻媒体的文章做自动

自然语言处理NLP概要