DoBetterImageNetModelsTransferBetter? 更好的图像网络模型传输更好吗？.pdf

迁移学习是计算机视觉的一个基石，然而对于体系结构与迁移之间的关系的研究却很少。现代计算机视觉研究中的一个隐含假设是，执行图像的模式必须是其他视觉任务的模式。然而，这一假设从未得到系统的检验。在这里，我们比较了16个分类网络在12个图像分类数据集上的性能。我们发现，当网络被用作固定的特征抽取器或微调时，ImageNet精度和传输精度之间有很强的相关性（r分别为0.99和0.96）。在前一种情况下，我们发现这种关系对网络在ImageNet上的训练方式非常敏感；许多常见的正则化形式略微提高了ImageNet的精度，但产生倒数第二层特征，这对于迁移学习来说要差得多。此外，我们还发现，在两个小的细粒度图像分类数据集上，对ImageNet的预训练提供的益处微乎其微，表明从ImageNet学习的特征不能很好地转化为细粒度任务。总之，我们的结果表明，ImageNet体系结构在数据集上通用性很好，但是ImageNet的特性没有以前建议的那么通用。