本文提出了一种名为 Distilled Contrastive Learning (DisCo) 的方法，通过将主流自监督学习方法中蕴含的最有价值的信息提取出来，然后通过约束学生模型的最终嵌入与教师模型的嵌入保持一致，从而大幅缓解模型规模减小时的性能退化问题，实验结果表明，DisCo 在所有轻型模型上取得了最先进的性能，并且在部署过程中不会引入任何额外的参数。

Apr, 2021

本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB 通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明 RoB 在 ImageNet 数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。

Jan, 2023

自监督学习（SSL）是从无标签数据中提取有价值表示的一种有前途的方法，其中对比学习是一种成功的 SSL 方法，其目标是将正例拉近而将负例推开。通过实证分析和理论探究，我们揭示了投影头的内部机制及其与维度崩溃现象的关系，我们的研究结果表明，投影头通过在投影子空间中进行对比损失来提高表示的质量。因此，我们提出了一种假设，即在最小化一批数据的对比损失时，仅有部分特征是必要的。理论分析进一步表明，稀疏的投影头可以增强泛化能力，这导致我们引入了 SparseHead - 一种有效约束投影头稀疏性的正则化项，并可以无缝集成到任何自监督学习（SSL）方法中。我们的实验结果验证了 SparseHead 的有效性，证明了其改善现有对比方法性能的能力。

Jul, 2023

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

通过引入异构的 teacher 和 relation-wise 对比学习，我们成功地解决了在轻量级模型中进行 instance-wise 对比时在语义空间中容易崩溃的问题，并通过 AlexNet 线性评估验证了该方法的有效性，达到了接近于有监督学习的 50.5% 的水平。

Dec, 2021

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

Oct, 2022

本文提出改变自监督学习模型中主干神经网络的最后一个块的维度，是解决预训练偏差问题的一种简单有效的方法，并可以提高自监督预训练模型和有监督预训练模型的迁移学习性能。

Apr, 2023

本研究提出基于 Transformer 的语音自监督学习模型压缩方法，包括重用注意力矩阵并采用新型蒸馏策略。我们的通用压缩策略可在 SUPERB 基准测试中实现 7.72％ 的音素错误率和 9.96％ 的单词错误率。

May, 2023

TriMix 是一种自我监督学习的新概念，通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，其提出的方法在自我监督学习和半监督学习任务中表现良好。

Jun, 2022