自监督学习（Self-supervised learning）最近获得了很多关注，因为其可以避免对数据集进行大量的标签标注。它可以把自己定义的伪标签当作训练的信号，然后把学习到的表示（representation）用作下游任务里。最近，对比学习被当作自监督学习中一个非常重要的一部分，被广泛运用在计算机视觉、自然语言处理等领域。它的目标是：将一个样本的不同的、增强过的新样本们在嵌入空间中尽可能地近，然后让不同的样本之间尽可能地远。这篇论文提供了一个非常详尽的对比自监督学习综述。

SPIN和SMV工具的对比学习 ——基于农夫过河问题-附件资源

SupContrast：监督式对比学习 此库使用CIFAR作为说明性示例，涵盖了PyTorch中以下论文的参考实现： （1）监督式对比学习。（2）视觉表示对比学习的简单框架。 损失函数 损耗函数在losses.py花费features （L2归一化）和labels作为输入，并返回损耗。如果labels为None或未传递给它，则它会退化为SimCLR。 用法： from losses import SupConLoss # define loss with a temperature `temp` criterion = SupConLoss ( temperature = temp ) # features: [bsz, n_views, f_dim] # `n_views` is the number of crops from each image # better be L2 no

真棒图对比学习 与图对比学习相关的资源集合。 内容 文件 2019年 | 编码： ， tf_geometric 方法（ DGI ）：局部-全局互信息最大化 实验： 任务：传导性节点分类| 数据集： Cora，Citeseer，Pubmed。 | 基准：原始特征，标签传播，DeepWalk，DeepWalk +特征，GCN，Planetoid。 任务：归纳节点分类| 数据集： Reddit，PPI。 | 基线：原始功能； DeepWalk； DeepWalk +功能； GraphSAGE-GCN; GraphSAGE-mean; GraphSAGE-LSTM； GraphSAGE-pool; FastGCN； 平均集中。 2020年 InfoGraph：通过互信息最大化实现无监督和半监督的图级表示学习孙凡云，Jordan Hoffmann，Vikas Verma，Jian Ta

SupContrast：有监督的对比学习本文档以CIFAR为例说明了PyTorch中以下论文的参考实现：（1）有监督的对比学习。 论文（2）一个简单的Fr SupContrast：有监督的对比学习本文档以CIFAR为例说明了PyTorch中以下论文的参考实现：（1）有监督的对比学习。 论文（2）视觉表示对比学习的简单框架。 纸张损失功能loss.py中的损失函数SupConLoss以要素（L2标准化）和标签为输入，并返回损失。 如果标签为None或未传递给它，则它会退化为SimCLR。 用法

PyContrast 此repo列出了最新的对比学习论文，并包括其中许多代码。 论文清单 找到很棒的对比学习。 PyTorch代码 有关SoTA方法的参考实现（例如InstDis，CMC，MoCo等），请参见 。 预训练模型 提供了一组ImageNet无监督的预训练模型。在找到它们。 物体检测 在PASCAL VOC和COCO上，无监督的预训练模型优于监督的预训练模型。查找。

像素级对比学习 在Pytorch的论文提出了像素级对比学习的实现。 除了在像素级别进行对比学习之外，在线网络还将像素级别表示形式传递给像素传播模块，并向目标网络施加相似度损失。 他们在细分任务中击败了所有以前的非监督和监督方法。 安装 $ pip install pixel-level-contrastive-learning 用法 下面是一个示例，说明了如何使用该框架进行Resnet的自我监督训练，并获取第4层（8 x 8个“像素”）的输出。 import torch from pixel_level_contrastive_learning import PixelCL from torchvision import models from tqdm import tqdm resnet = models . resnet50 ( pretrained = True ) learn

近期，所有paper list 放出，本文发现对比学习（Contrastive Learning）相关的投稿paper很多，这块研究方向这几年受到了学术界的广泛关注，并且在CV、NLP等领域也应用颇多。

在NeuraIPS上对比学习（Contrastive Learning）相关的投稿paper很多，这块研究方向这几年受到了学术界的广泛关注，并且在CV、NLP等领域也应用颇多。本文为大家奉上NeurIPS 2020必读的七篇对比学习相关论文——对抗自监督对比学习、局部对比学习、难样本对比学习、多标签对比预测编码、自步对比学习、有监督对比学习。

与往年相比，ICML 2020的接收率正逐年走低。本文发现基于对比学习（Contrastive Learning）相关的paper也不少，对比学习、自监督学习等等都是今年比较火的topic，受到了很多人的关注。