命名实体识别（NER）是自然语言处理（NLP）领域中的关键任务，它涉及识别文本中具有特定意义的实体，如人名、地名、组织名等。标题“中文NER集合”表明这是一个专注于中文环境下的命名实体识别资源集合。描述中提到的“基于马尔科夫逻辑的命名实体识别技术”，暗示了该压缩包可能包含一些利用马尔科夫逻辑网络（Markov Logic Networks, MLNs）的方法来解决中文NER问题的研究。 马尔科夫逻辑网络是一种概率逻辑框架，它结合了马尔科夫随机场和第一阶逻辑的优点，可以用于建立复杂的语义关系模型。在NER中，MLNs可以用来捕捉实体之间的局部和全局上下文信息，以提高识别准确性。例如，一个实体的类型可能与其前后词汇有关，MLNs可以通过定义这些依赖关系的规则来帮助识别。 压缩包中的文件名称提供了更多线索： 1. "NER综述.pdf"：这可能是一个全面的NER技术综述，涵盖了各种方法和技术，包括传统的统计模型和深度学习方法。 2. "SSSSSSSSSSSSSSSSSSSSSSSOpen Information Extraction from the Web.pdf"：可能探讨的是从互联网上提取开放信息，可能包括NER作为信息提取的一部分。 3. "基于层叠隐马尔可夫模型的中文命名实体识别.pdf"：这可能是介绍如何使用层叠隐马尔可夫模型（Cascaded HMMs）进行中文NER的论文，这是一种经典的序列标注模型。 4. "Open Domain Event Extraction from Twitter.pdf"：可能关注的是从社交媒体，特别是Twitter中提取开放领域的事件，这通常需要有效的NER来识别事件相关的实体。 5. "一种开放式中文命名实体识别的新方法.pdf"：这可能描述了一种新的、创新的中文NER算法，可能采用了不同于传统方法的策略。 6. "[46]ner.pdf"：文件名较简单，但可能是一个特定的NER研究或技术的详细说明，编号可能表示参考文献的序号。 这个集合对于学习和研究中文NER非常有价值，它可能包含了理论概述、经典模型的解释、最新方法的介绍以及实际应用案例。通过深入阅读这些资料，我们可以了解命名实体识别的发展历程，比较不同方法的优缺点，以及如何将这些技术应用于实际的数据挖掘和事件抽取任务。此外，对于想要在中文环境下提升信息提取和理解能力的研究者和开发者来说，这些资源无疑是一个宝贵的资料库。

这是一个用于中文命名实体识别的数据集，采用BIOES模式标注的糖尿病领域的一些非结构化数据。 该数据集对刚入门命名实体识别的同学来说，有很大帮助，不仅节省了大量的数据标注时间，而且有利于他们更快速理解命名实体识别任务。

本案例介绍命名实体识别（NER）任务的背景、HMM的原理以及如何将数据应用于序列标记问题，帮助同学们建立坚实的理论基础。 同学们可以通过这个案例学习序列标记问题和HMM的理论基础，从而建立机器学习的核心知识，利用HMM知识去解决实际NER问题，从而加深对理论的理解和应用能力。

基于pytorch+bilstm_crf的中文命名实体识别 文件说明 --checkpoints：模型保存的位置 --data：数据位置 --|--cnews：数据集名称 --|--|--raw_data：原始数据存储位置 --|--|--final_data：存储标签、词汇表等 --logs：日志存储位置 --utils：辅助函数存储位置，包含了解码、评价指标、设置随机种子、设置日志等 --config.py：配置文件 --dataset.py：数据转换为pytorch的DataSet --main.py：主运行程序 --main.sh：运行命令 --models.py：模型 --process.py：预处理，主要是处理数据然后转换成DataSet 运行命令 python main.py --data_dir="../data/cnews/final_data/" --log_dir="./logs/" --output_dir="./checkpoints/" --num_tags=33 --seed=123 --gpu_ids="0" --max_seq_len=128 --

BERT+BiLSTM+CRF是一种用于中文命名实体识别（Named Entity Recognition，简称NER）的模型，结合了BERT模型、双向长短时记忆网络（Bidirectional LSTM）和条件随机场（CRF）。 BERT是一种预训练的深度双向变换器模型，具有强大的自然语言处理能力。它能够学习上下文相关的语义表示，对于NLP任务非常有用。 BiLSTM是一种循环神经网络，能够捕捉上下文之间的依赖关系。通过同时考虑前向和后向上下文，BiLSTM能够更好地理解句子中实体的边界和内部结构。 CRF是一种概率图模型，常用于序列标注任务。它能够基于输入序列和概率分布进行标签推断，使得预测的标签序列具有全局一致性。 在BERT+BiLSTM+CRF模型中，首先使用BERT模型提取句子中的特征表示。然后，将这些特征输入到BiLSTM中，通过双向上下文的学习，得到更丰富的句子表示。最后，使用CRF层对各个词的标签进行推断，并输出最终的实体识别结果。 这种模型的优势在于能够充分利用BERT的语义信息和BiLSTM的上下文依赖性，同时通过CRF层对标签进行约束，提高了实体识别的

python编写的简单程序，一共只有130多行，但是应付老师绰绰有余：） 实验:基于LSTM的命名实体识别 数据处理 给每个实体类型进行编号、给每个单词进行编号 文本填充 使用标识符，将所有序列处理成同样长度 训练流程 给每个输入和其对应编号建立一个张量 构成训练批 输入LSTM单元 输入全连接层 使用sorftmax或其他分类器进行预测 模型构建 pytorch自带LSTM类/其他工具也可以/自己编码也可以

chatbot_simbert 检索类型的微信聊天机器人/问答系统，通过API异步通信，实现在微信上交互，可以查询天气、重复问句识别等情况；本项目包括模型和工程化部署一体化。用到SimBert等模型。 描述 各位可以根据自己的需求部署或修改： 问答库如果是任务型的，就是一个任务型聊天机器人，如果闲聊的问答库，那就是闲聊型聊天机器人； 后续也可以添加意图，用来用意图识别的匹配；也可以添加个知识图谱的API... 总之可以添加的模块很多，扩展性非常强大。 品尝方式（使用说明） 准备： 环境准备：安装requirement中的依赖包 下载模型，并放置在code/1.retrieve_match/3.simbert_match/config路径下： simbert模型： 启动： 1、 启动code/2.API_serve/KG_service.py 2、 启动code/3.wx_project/c

命名实体识别（Named Entity Recognition，NER）是自然语言处理领域的一项关键任务，旨在从文本中识别和分类特定的命名实体，如人名、地名、组织机构名等。NER的目标是标记文本中的实体，并将其归类到预定义的实体类型中。 NER通常使用机器学习和深度学习技术来完成任务。以下是一种常见的NER流程： 数据收集和标注：收集包含命名实体的文本数据，并为每个实体标注相应的标签（实体类型）。 特征提取：从文本数据中提取有用的特征，如词性、词形、上下文等。这些特征将作为输入提供给模型。 模型训练：使用标注好的数据和提取的特征来训练NER模型。常用的模型包括条件随机场（CRF）、循环神经网络（RNN）、注意力机制等。 模型评估和调优：使用评估数据集来评估训练得到的模型性能，并进行调优以提高准确性和召回率。 实体识别：使用训练好的NER模型对新的文本进行实体识别。模型将识别并标记文本中的命名实体，使其易于提取和理解。 NER在许多应用中起着重要作用，例如信息抽取、问答系统、文本摘要、机器翻译等。以帮助自动化处理大量文本数据，并提供有关实体的结构化信息，为后续的分析和应用提供基础。

1) app.py是整个系统的主入口
2) templates文件夹是HTML的页面
|-index.html 欢迎界面
|-search.html 搜索人物关系页面
|-all_relation.html 所有人物关系页面
|-KGQA.html 人物关系问答页面
3) static文件夹存放css和js，是页面的样式和效果的文件
4) raw_data文件夹是存在数据处理后的三元组文件
5) neo_db文件夹是知识图谱构建模块
|-config.py 配置参数
|-create_graph.py 创建知识图谱，图数据库的建立
|-query_graph.py 知识图谱的查询 6) KGQA文件夹是问答系统模块 |-ltp.py 分词、词性标注、命名实体识别 7) spider文件夹是模块 |- get_*.py 是之前取人物资料的代码，已经产生好ima

NLP-study 记录做过的NLP任务,包含但不限于文本分类，关系分类，命名实体识别，文本摘要，文本生成等，基于tensorflow2.0或者pytorch框架。