BERT在Azure机器学习服务上
此回购包含终端到终端的食谱和的 (双向编码器交涉来自变形金刚)用语言表达模型。
伯特
BERT是一种语言表示模型,其特征在于可以有效捕获语料库中深层和微妙的文本关系。 在原始论文中,作者证明了BERT模型可以很容易地改编以构建用于许多NLP任务的最新模型,包括文本分类,命名实体识别和问题解答。 在此仓库中,我们提供了笔记本,使开发人员可以从语料库中重新训练BERT模型,并微调现有的BERT模型以解决专门的任务。 此回购中提供了的简要可快速开始使用BERT。
预训练
BERT预训练中的挑战
将BERT语言表示模型预训练到所需的准确性水平是非常具有挑战性的。 结果,大多数开发人员从在标准语料库(例如Wikipedia)上经过预训练的BERT模型开始,而不是从头开始训练它。 如果在与训练前步骤中使用的语料库相似的语料库上训练最终模型,则此策略效果很好。 但是,
2021-02-20 20:08:56
232KB
Python
1