对于提取高质量表示的有效技术是在训练期间在编码器上方添加投影头部，然后丢弃它并使用预投影表示。本研究通过理论解释揭示了这种技术成功的原因，探索了低层特征表示规范化和非线性相互作用对模型性能的影响，并证明了这种机制如何提高有监督对比学习和有监督学习中的鲁棒性。

Mar, 2024

自监督学习（SSL）是从无标签数据中提取有价值表示的一种有前途的方法，其中对比学习是一种成功的 SSL 方法，其目标是将正例拉近而将负例推开。通过实证分析和理论探究，我们揭示了投影头的内部机制及其与维度崩溃现象的关系，我们的研究结果表明，投影头通过在投影子空间中进行对比损失来提高表示的质量。因此，我们提出了一种假设，即在最小化一批数据的对比损失时，仅有部分特征是必要的。理论分析进一步表明，稀疏的投影头可以增强泛化能力，这导致我们引入了 SparseHead - 一种有效约束投影头稀疏性的正则化项，并可以无缝集成到任何自监督学习（SSL）方法中。我们的实验结果验证了 SparseHead 的有效性，证明了其改善现有对比方法性能的能力。

Jul, 2023

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

在知识蒸馏过程中，我们发现即使学生和老师具有相同的特征维度，添加投影器仍然有助于提高蒸馏性能，并且投影器在体系结构中的添加甚至可以改善逻辑蒸馏。受到这些令人惊讶的发现和现有文献对知识蒸馏过程中投影器角色的不了解的启发，本文研究了被忽视的投影器的隐含作用。通过经验研究，我们发现具有投影器的学生与没有投影器的学生相比，可以在训练精度和测试精度之间获得更好的平衡，从 Centered Kernel Alignment (CKA) 的视角来看，其相似性与老师相比更好地保持，并且避免了测试阶段老师的过度自信。受到投影器积极影响的启发，我们提出了一种基于投影器集合的特征蒸馏方法以进一步提高蒸馏性能。尽管所提出的策略简单，但在基准数据集上进行的分类任务的实证结果显示了我们方法在广泛范围的师生对上具有优越的分类性能，并从 CKA 和模型校准的角度验证了学生特征的质量改进。

Oct, 2023

本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

Oct, 2021

本研究提出了一种新的特征蒸馏方法，其中使用投影仪去除了分类和蒸馏两个不同的任务，从而进一步提高了学生特征的质量和性能，实验证明该方法在不同数据集和师生对中均取得了显著的效果提升。

Oct, 2022

本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

Feb, 2021

本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

Nov, 2020

本文介绍了一种自监督学习方法，其中相称损失中的负项可以通过添加 prediction head 被消除，理论上和实验上证明了这种方法能够避免维度崩溃现象，并且通过正常的梯度下降可以学习有效表示来替代只学习强特征的偏见。

May, 2022

本文研究了图神经网络的表示学习中反遗忘问题，提出了 PROJECTOR 算法解决节点相关性等挑战，实验证明 PROJECTOR 高效可靠。

Feb, 2023