预训练语言模型(PLMs)是在大规模语料库上以自监督方式进行预训练的语言模型。在过去的几年中，这些PLM从根本上改变了自然语言处理社区。在本教程中，我们旨在从两个角度提供广泛而全面的介绍:为什么这些PLM有效，以及如何在NLP任务中使用它们。本教程的第一部分对PLM进行了一些有见地的分析，部分解释了PLM出色的下游性能。第二部分首先关注如何将对比学习应用于PLM，以改进由PLM提取的表示，然后说明如何在不同情况下将这些PLM应用于下游任务。这些情况包括在数据稀缺的情况下对PLM进行微调，以及使用具有参数效率的PLM。我们相信，不同背景的与会者会发现本教程内容丰富和有用。

lambda.pytorch [NEW！]看看我们的最新作品在CVPR'21该桥梁卷积和自我关注运营商。 LambdaNetworks的PyTorch实现。 Lambda网络应用矩阵乘法的关联定律来逆转自我注意力的计算顺序，从而实现了有关内容交互的线性计算复杂性。 以前在和使用了类似的技术。 在另一个存储库签出一系列自我注意模块。 训练配置 ✓SGD优化器，初始学习率0.1，动量0.9，重量衰减0.0001 ✓时代130，批量大小256，8个Tesla V100 GPU，LR衰减策略余弦 ✓标签平滑0.1 训练有素的检查站 建筑学 参数 襟翼 前1名/前5名（％） 下载 Lambda-ResNet-50 14.995万 6.576克 78.208 / 93.820 | 引文 如果您发现此存储库对您的研究有用，请引用 @InProceedings { Li_2021_CVPR

【导读】预训练模型是当下研究的热点，来自西电的研究人员发布《知识增强的预训练模型》，非常值得关注！ 预训练模型通过自监督学习方法在大规模文本语料库上学习上下文化的词表示，该方法经过微调后取得了良好的性能。然而，这些模型的健壮性差，且缺乏可解释性。带有知识注入的预训练模型(knowledge enhanced pre- training model, KEPTMs)具有深刻的理解和逻辑推理能力，并在一定程度上引入了可解释性。在这个综述中，我们提供了自然语言处理的KEPTMs的全面概述。首先介绍了预训练模型和知识表示学习的研究进展。然后我们从三个不同的角度对现有KEPTMs进行了系统的分类。最后，对KEPTMs的未来研究方向进行了展望。

来自github的zllrunning的face-parsing.PyTorch项目，这个是此项目的预训练模型（pre-trained model）, 原链接是放在google drive的... 当用于Simswap的时候, 请把这个文件解压缩后放进目录：./parsing_model/checkpoint/

Sg2im pre-trained model vg64 vg128 coco64

20170512-110547（MS-Celeb-1M数据集训练的模型文件，微软人脸识别数据库，名人榜选择前100万名人，搜索引擎采集每个名人100张人脸图片。预训练模型准确率0.993+-0.004）