May, 2021

自监督学习的均值漂移

PDF
TL;DR本研究提出一种基于平均漂移算法的自监督学习方法，通过将相邻的图像进行平移并聚合来学习图像的特征表示，无需对图像进行反向对比或采用较多的先验知识。该方法在 ImageNet 数据集上的线性评估中实现了 72.4% 的准确率，优于 BYOL 方法。
self-supervised learningrepresentation learningmean-shift algorithmimage clusteringbyol
发现论文，激发创造
  • FLSL: 特征层面自监督学习

    本文探究了使用 Transformer 进行联合嵌入和聚类的一种方法，即两级特征聚类自监督学习（FLSL），该方法在密集预测任务中取得了显著的改进，包括目标检测和实例分割，实验表明 FLSL 方法在各项测试中始终表现优异。

    Jun, 2023

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 自监督学习的核 KL 散度

    该研究通过重现核希尔伯特空间理解现有的许多非对比学习方法，提出了一种新的核 SSL 损失函数，可直接优化 RKHS 中的均值嵌入和协方差算子，并在 ImageNet 数据集上的线性评估设置下大幅优于现有技术方法。

    May, 2023

  • 数据有效对比自监督学习：简单样本对学习最有帮助

    该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

    Feb, 2023

  • 核区联合嵌入自监督学习

    该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法，并针对对比损失函数和非对比损失函数导出最优输出表示形式，从而在核空间中通过线性映射构建嵌入，产生一个新的表示空间，分析其在小数据集上的表现并获得其在下游任务上的理论洞见。

    Sep, 2022

  • 使用弱数据增强进行关系自监督学习的 ReSSL 算法

    本文提出一种新的自监督学习方法 —— 关系自监督学习 (ReSSL) 框架，通过建模不同实例之间的关系来学习表示，采用成对相似度的锐化分布作为关系度量来匹配不同增强的特征向量，实验结果表明我们的方法在性能和训练效率方面显著优于先前的最先进算法。

    Jul, 2021

  • 提高自监督学习的算法、模型和数据效率

    通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

    Apr, 2024

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • FroSSL: 自监督学习的 Frobenius 范数最小化

    自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表示学习的能力。

    Oct, 2023

  • 揭示分布偏移下视频自监督学习的隐藏动态

    本文在 17 个数据集上对 6 个自监督视频学习方法进行了全面的研究，其中 v-MAE 表现出强大的时间学习能力，而 v-SimCLR 和 v-MOCO 则展现出对视角变化的强大表现，同时观察到了闭集和开集识别表现的平衡问题。

    Jun, 2023