SimReg:回归是自我监督知识提炼的一个简单而有效的工具

特征回归是一种将大型神经网络模型提炼为小型模型的简单方法。我们表明，只要简单地改变网络结构，回归就能胜过更复杂的最先进的自监督模型的知识提炼方法。令人惊讶的是，在CNN主干上增加一个多层感知器头，即使只在蒸馏过程中使用并在下游任务中丢弃也是有益的。因此，在不改变推理结构和时间的情况下，深度非线性投影可以用来准确地模仿老师。此外，我们利用独立的投影头来同时提炼多个教师网络。我们还发现，使用相同的弱增强图像作为教师和学生网络的输入，有助于提炼。在ImageNet数据集上的实验证明了在各种自监督的蒸馏设置中所提出的变化的有效性。

《SimReg: Regression as a Simple Yet Effective Tool for Self-supervised Knowledge Distillation》

论文地址:http://arxiv.org/abs/2201.05131v1