Oct, 2021

通过非对比自我监督实现对表征学习的揭秘

PDF
TL;DR我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。
self-supervised learningnon-contrastive methodstheoretical understandingprojection matrixdirectcopy algorithm
发现论文，激发创造
  • 非对比性孪生表示学习中的崩溃理解

    通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

    Sep, 2022

  • 不需要对比样本的自监督学习动态理解

    在自监督学习中，我们提出一种名为 DirectPred 的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上，该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当，且在 300 个 epoch 的训练中优于线性预测器 2.5％（在 60 个 epoch 中达到 5％）。同时，通过研究非对比性 SSL 在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

    Feb, 2021

  • 特征归一化防止非对比学习动力崩溃

    对比学习是一种自监督表示学习框架，在数据表示空间中通过吸引力使两个通过数据增强生成的正样本相似，同时通过排斥力使其远离负样本。然而，特征规范化在防止动态崩溃方面起着重要作用。

    Sep, 2023

  • 通过预测网络和停梯度方法，实现 BYOL/SimSiam 的隐式方差正则化

    本论文研究了自监督学习的非对比方法，通过构建 DirectPred 理论框架，分析了线性网络的表示学习动态，并通过共轭积的方法提供了一个显式的方差规则机制，提出了一种新的各向同性损失函数，并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。

    Dec, 2022

  • 对比自监督学习中的维度崩塌的理解

    本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

    Oct, 2021

  • 无对比自监督学习中预测头机制

    本文介绍了一种自监督学习方法，其中相称损失中的负项可以通过添加 prediction head 被消除，理论上和实验上证明了这种方法能够避免维度崩溃现象，并且通过正常的梯度下降可以学习有效表示来替代只学习强特征的偏见。

    May, 2022

  • 对比自监督学习与非对比自监督学习之间的二元性

    本文探讨了施加对比方法与协方差为基础的非对比方法的理论相似性，说明在合理的假设下它们是等效的。作者介绍了一些改进和变化，证明了这种理论结果，提出了更好的网络设计和超参数调整，可以让不同的 SOTA 方法更好地融合，以建立更好的自监督学习方法。

    Jun, 2022

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 压缩视觉表征

    本文提出将信息压缩融合到自监督学习的对比学习和隐变量引导方法中，可以得到更好、更鲁棒的视觉表示，实验证明添加压缩确实可以显著提高在多个领域中的模型性能和稳健性。

    Sep, 2021

  • SimSiam 如何在无负样本的情况下避免崩溃？自监督对比学习的统一理解

    本研究通过对最近提出的简约 Siamese (SimSiam) 方法的研究，使用矢量分解技术分析了 $l_2$-normalized 表示向量的梯度，提供了负样本和 SimSiam 避免崩溃的统一视角.

    Mar, 2022