来源：复旦大学计算机信息与技术系国际数据库中心自然语言处理小组；由复旦大学李荣陆提供；test_corpus.rar为测试语料，train_corpus.rar为训练语料，传的时候没注意（传错了也不知道咋删），完整版我重新另外上传了

自然语言处理课程设计资源。自然语言处理课程设计之LSTM模型训练中文语料。使用Bi-LSTM模型训练中文语料库，并实现根据已输入中文词预测下一个中文词。train.py：进行训练的源代码。model.py：模型的类定义代码。cnpre.py：用于保存自定义的Dataset。dotest.ipynb：进行测试的jupyter notebook文件，在可以使用两个模型参数进行句子生成。 自然语言处理是计算机科学和人工智能领域中一个重要的分支，它致力于使计算机能够理解、解释和生成人类语言，从而实现人机之间的有效沟通。随着深度学习技术的发展，长短期记忆网络（LSTM）作为一种特殊的循环神经网络（RNN），因其在处理和预测序列数据方面的出色性能而广泛应用于自然语言处理任务中。LSTM能够捕捉长距离依赖关系，并通过其独特的门控机制解决传统RNN在处理长序列时出现的梯度消失或梯度爆炸问题。 中文语料库的构建对于中文自然语言处理至关重要。由于中文语言的特点，如没有明显词界限、语句结构复杂等，中文处理在很多方面要比英文更加困难。因此，训练一个能够有效理解中文语料的LSTM模型需要精心设计的语料库和模型结构。Bi-LSTM模型是LSTM模型的一种变体，它利用正向和反向两个LSTM进行信息处理，可以在一定程度上提高模型对于文本语义的理解能力。 在本课程设计中，通过使用Bi-LSTM模型训练中文语料库，学生可以学习到如何准备数据集、设计和实现网络结构、以及训练模型的整个流程。学生将学习如何处理中文文本数据，包括分词、去停用词、构建词向量等预处理步骤。这些步骤对于提高模型训练的效果至关重要。 课程设计中包含了多个关键文件，每个文件都承担着不同的角色： - train.py：这是一个Python脚本文件，负责执行模型的训练过程。它会读取准备好的中文语料库，设置模型参数，并运行训练循环，输出训练结果和模型参数。 - model.py：在这个Python文件中，定义了Bi-LSTM模型的类。这包括模型的网络架构，例如输入层、隐藏层、输出层以及如何组织这些层来构建完整的模型结构。这个文件为训练过程提供了模型的蓝图。 - cnpre.py：这个文件用于保存自定义的Dataset类。在PyTorch框架中，Dataset是一个抽象类，需要被继承并实现特定方法来定制数据集。在自然语言处理任务中，这通常包括加载文本数据、分词、编码等预处理步骤。 - dotest.ipynb：这是一个Jupyter Notebook文件，用于测试模型的性能。通过这个交互式的文档，用户可以加载训练好的模型，并使用自定义的句子生成模型参数进行测试。这使得实验者能够直观地看到模型对特定输入的处理效果和生成的句子。 通过本课程设计，学生将掌握如何运用Bi-LSTM模型在中文语料上进行训练和预测，这不仅能够加深对自然语言处理技术的理解，而且能够提高解决实际问题的能力。同时，通过实践操作，学生还能学习到如何调试和优化模型性能，以达到最佳的预测效果。 自然语言处理课程设计之LSTM模型训练中文语料为学生提供了一个实践平台，让他们能够在实际操作中了解和掌握最新的自然语言处理技术和深度学习模型。通过对Bi-LSTM模型的训练和测试，学生不仅能够学会如何处理复杂的中文文本数据，而且能够加深对语言模型及其在自然语言处理中应用的认识。这样的课程设计对于培养学生解决实际问题的能力、提升理论与实践相结合的技能具有重要意义。

文本分类语料库（复旦）训练语料，本语料库由复旦大学李荣陆提供，共9804篇文档，两个预料各分为20个相同类别。

word2vec入门训练语料，可以用来跑简单的word embedding训练流程，千里之行始于足下。

中文医疗语料数据集下载

这是GMB语料库的摘录，经过标记，注释和构建，专门用于训练分类器以预测命名实体，例如名称，位置等。 使用GMB（Groningen Meaning Bank）语料库进行命名实体识别的带注释语料库，该语料库通过自然语言处理将具有增强和流行特征的实体分类应用于数据集。

青云语料库 12万对话语料青云库

整理自搜狗实验室中的新闻分类。含有金融、体育、军事等11个分类集。

========dgk_lost_conv======== chinese conversation corpus 可以用作聊天机器人的训练语料 结果： dgk_shooter_z.conv 110MB 已分词 dgk_shooter_min.conv 按字分词 lost.conv 1.7MB fanzxl.conv 2.3MB fk24.conv 4.5MB haosys.conv 1.3MB juemds.conv 793KB laoyj.conv 1.5MB prisonb.conv 543KB 内部方法： asstosrt -s utf-8 ass ----asstosrt---->srt srt ----cvgen.py---->.conv 特别的shooter73g: 进入shooterwp， 解压缩mirror.x到rawbase下面 执行sel.sh 在跟目录下 fixco

这是关于微博情感分析的语料，类别分好，可以直接投入分析程序中使用，方便大家研究情感分类，免去大家写爬虫或API等方式爬取数据的烦恼