ICLRMar, 2022

SimSiam 如何在无负样本的情况下避免崩溃？自监督对比学习的统一理解

PDF
TL;DR本研究通过对最近提出的简约 Siamese (SimSiam) 方法的研究，使用矢量分解技术分析了 $l_2$-normalized 表示向量的梯度，提供了负样本和 SimSiam 避免崩溃的统一视角.
发现论文，激发创造
  • 非对比性孪生表示学习中的崩溃理解

    通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

    Sep, 2022

  • 探索简单的同孪表征学习

    本文通过研究，展示出使用 Siamese 网络进行图像无监督表示学习的含义，并阐述了在该情况下级联网络的基本角色，并提出了一个新的基于停止梯度的理论，通过实验证明了其正确性。

    Nov, 2020

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 通过统一的梯度框架探索孪生自监督学习的等效性

    该研究提出了一种将自监督学习的不同方法统一在同一框架下进行比较的方法，并通过 UniGrad 提出了一种简单有效的自监督学习的梯度形式，其在线性评估和下游任务中表现出了卓越的效果。

    Dec, 2021

  • 不需要对比样本的自监督学习动态理解

    在自监督学习中，我们提出一种名为 DirectPred 的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上，该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当，且在 300 个 epoch 的训练中优于线性预测器 2.5％（在 60 个 epoch 中达到 5％）。同时，通过研究非对比性 SSL 在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

    Feb, 2021

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 通过非对比自我监督实现对表征学习的揭秘

    我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

    Oct, 2021

  • 双重深度网络的自监督学习理解

    提出了一种新的理论框架来理解对比自监督学习方法，该方法采用双重 ReLU 网络（例如 SimCLR）。我们证明了每个 SGD 更新中的权重是由协方差算子更新的，并进一步说明了协方差算子的作用和应用。通过建立层次潜变量树模型并证明深度 ReLU 网络的隐藏层学习了该模型的潜变量，我们总结了通过对比自监督学习的初始随机选择法放大而形成的层次化特征。

    Oct, 2020

  • 克服自监督对比学习在医学图像分割中的尺寸坍塌问题

    本文研究将对比学习应用于医学图像分析领域，发现在医学图像上应用最先进的对比学习方法 MoCo v2 存在维度坍缩问题，并提出了局部特征学习和特征去相关两项关键贡献，实验证明这两个贡献显著提升了模型在医学分割任务的性能。本研究突显了将自监督学习技术有效适应医学图像任务特征的重要性。

    Feb, 2024

  • 对比自监督学习中的维度崩塌的理解

    本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

    Oct, 2021