多任务学习专家 注意:从0.4.0开始,tf版本必须大于等于2.1。 安装 pip install bert-multitask-learning 它是什么 这个项目使用变压器(基于拥抱面部变压器)进行多模式多任务学习。 我为什么需要这个 在原始的BERT代码中,多任务学习或多GPU训练都不可行。 另外,该项目的初衷是NER,它在原始BERT代码中没有有效的脚本。 总而言之,与原始bert回购相比,此回购具有以下功能: 多模式多任务学习(重写大部分代码的主要原因)。 多GPU训练 支持序列标记(例如NER)和Encoder-Decoder Seq2Seq(带变压器解码器)。 支持哪些类型
1
BERT-BiLSTM-CRF-NER Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning 使用谷歌的BERT模型在BLSTM-CRF模型上进行预训练用于中文命名实体识别的Tensorflow代码' 中文文档请查看 如果对您有帮助,麻烦点个star,谢谢~~ Welcome to star this repository! The Chinese training data($PATH/NERdata/) come from: The CoNLL-2003 data($PATH/NERdata/ori/) come from: The evaluation codes come from: Try to implement NER work based on google'
2021-10-17 21:06:39 482KB crf named-entity-recognition ner bert
1
简单的变形金刚 该库基于HuggingFace的库。 使用简单的Transformers,您可以快速训练和评估Transformer模型。 初始化模型,训练模型和评估模型仅需要三行代码。 技术支持 序列分类 代币分类(NER) 问题回答 语言模型微调 语言模型训练 语言生成 T5型号 Seq2Seq任务 多模态分类 对话式AI。 文本表示生成。 目录 设置 与conda 从安装Anaconda或Miniconda Package Manager 创建一个新的虚拟环境并安装软件包。 conda create -n st python pandas tqdm conda activate st如果使用cuda: conda install pytorch>=1.6 cudatoolkit=11.0 -c pytorch否则: conda install pytorch cpuonly
1
Named Entity Recognition of CEMR is provided by Yidu Cloud.本数据集由医渡云提供。 subtask2_unlabeled.txt subtask1_test.zip subtask1_train.zip subtask2_test.zip subtask2_train.zip
2021-09-27 16:20:07 1.32MB 数据集
1
Agricultural Knowledge Graph 由于工作原因,该项目已停止维护。因此项目代码仅供参考,项目中包含的数据可免费用于学术等非商业用途。 相关工作请引用paper: AgriKG: An Agricultural Knowledge Graph and Its Applications[C]. DASFAA (3) 2019: 533-537 项目介绍: 本项目是上海市《农业信息服务平台及农业大数据综合利用研究》子课题《上海农业农村大数据共享服务平台建设和应用》的研究成果。 该课题是由上海市农业委员会信息中心主持,以“致富农民、服务市民、提高行政管理效能”为目标,充分发挥大数据在农业农村发展中的重要功能和巨大潜力,重点建设上海市级农业农村大数据中心,促进信息资源的共建共享和创新应用。 华东师范大学数据科学与工程学院(以下简称华师大数据学院)作为课题主要参与单位以实现智慧
1
口语填空和意图检测任务 插槽填充和意图检测的基本模型: 论文“具有焦点机制的编码器-解码器用于基于序列标签的口语理解”的“焦点”部分的实现 。 基于的BLSTM-CRF的实现 插槽填充和意图检测任务联合培训的实施 。 基本型号+ / / 数据集教程: (英语/西班牙语/泰语) (无意图) (无意图) (无意图) 部分 描述 所需的包 如何在ATIS数据集上报告意图检测的性能 教程A:带有预训练的单词嵌入 教程A:使用预训练的单词嵌入进行插槽填充和意图检测 教程B:使用ELMo 教程B:使用ElMo进行插槽填充和意图检测 教程C:使用BERT 教程C:插槽填充和BERT意图检测 教程D:使用XLNET 教程D:使用XLNET进行插槽填充和意图检测 结果 某些数据集上不同方法的结果 推论模式 推论模式 参考 如何引用? 设置 python 3.6.x py
1
HarvestText Sow with little data seed, harvest much from a text field. 播撒几多种子词,收获万千领域实 在和上同步。如果在Github上浏览/下载速度慢的话可以转到上操作。 用途 HarvestText是一个专注无(弱)监督方法,能够整合领域知识(如类型,别名)对特定领域文本进行简单高效地处理和分析的库。适用于许多文本预处理和初步探索性分析任务,在小说分析,网络文本,专业文献等领域都有潜在应用价值。 使用案例: (实体分词,文本摘要,关系网络等) (实体分词,情感分析,新词发现[辅助绰号识别]等) 相关文章: 【注:本库仅完成实体分词和情感分析,可视化使用matplotlib】 (命名实体识别,依存句法分析,简易问答系统) 本README包含各个功能的典型例子,部分函数的详细用法可在文档中找到: 具体功能如下: 基本处理
1
| | | :party_popper: :party_popper: :party_popper: 我们发布了带有TF2支持的2.0.0版本。 :party_popper: :party_popper: :party_popper: 如果您将此项目用于研究,请引用: @misc{Kashgari author = {Eliyar Eziz}, title = {Kashgari}, year = {2019}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/BrikerMan/Kashgari}} } 总览 Kashgari是一个简单而强大的NLP Transfer学
1
中文NER 本项目使用 python 2.7 张量流1.7.0 火炬0.4.0 对命名实体识别不了解的可以先看一下这篇。顺便求star〜 这是最简单的一个命名实体识别BiLSTM + CRF模型。 数据 数据文件夹中有三个开源数据集可以使用,玻森数据( ),1998年人民日报标注数据,MSRA微软亚洲研究院开源数据。其中,boson数据集有6种实体类型,人民日报语料和MSRA一般只提取人名,地名,组织名三种实体类型。 先运行数据中的python文件处理数据,供模型使用。 张量流版 开始训练 使用python train.py开始训练,训练的模型会存到模型文件夹中。 使用预训练的词向量 使
2021-06-05 23:17:56 13.53MB tensorflow pytorch named-entity-recognition chinese
1
用于中文命名实体识别的简单BiLSTM-CRF模型 该存储库包含用于为中文命名实体识别任务构建非常简单的基于字符的BiLSTM-CRF序列标签模型的代码。 其目标是识别三种类型的命名实体:PERSON,LOCATION和ORGANIZATION。 这段代码可在Python 3和TensorFlow 1.2上运行,以下存储库给了我很多帮助。 模型 此模型类似于论文[1]和[2]提供的模型。 其结构如下图所示: 对于一个中文句子,该句子中的每个字符都有/将具有属于{O,B-PER,I-PER,B-LOC,I-LOC,B-ORG,I-ORG}集的标记。 第一层是查找层,旨在将每个字符表示从一个
1