ECCVSep, 2022

非对比性孪生表示学习中的崩溃理解

PDF
TL;DR通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。
发现论文，激发创造
  • SimSiam 如何在无负样本的情况下避免崩溃？自监督对比学习的统一理解

    本研究通过对最近提出的简约 Siamese (SimSiam) 方法的研究，使用矢量分解技术分析了 $l_2$-normalized 表示向量的梯度，提供了负样本和 SimSiam 避免崩溃的统一视角.

    Mar, 2022

  • 通过非对比自我监督实现对表征学习的揭秘

    我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

    Oct, 2021

  • 不需要对比样本的自监督学习动态理解

    在自监督学习中，我们提出一种名为 DirectPred 的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上，该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当，且在 300 个 epoch 的训练中优于线性预测器 2.5％（在 60 个 epoch 中达到 5％）。同时，通过研究非对比性 SSL 在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

    Feb, 2021

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • 探索简单的同孪表征学习

    本文通过研究，展示出使用 Siamese 网络进行图像无监督表示学习的含义，并阐述了在该情况下级联网络的基本角色，并提出了一个新的基于停止梯度的理论，通过实验证明了其正确性。

    Nov, 2020

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

    本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

    May, 2022

  • 特征归一化防止非对比学习动力崩溃

    对比学习是一种自监督表示学习框架，在数据表示空间中通过吸引力使两个通过数据增强生成的正样本相似，同时通过排斥力使其远离负样本。然而，特征规范化在防止动态崩溃方面起着重要作用。

    Sep, 2023

  • 对比自监督学习中的维度崩塌的理解

    本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

    Oct, 2021

  • EnSiam: 带有集成表示的自监督学习

    本文提出了一种名为 EnSiam 的方法，基于教师 - 学生框架和集成学习思想，使用多个表示来改进对比学习，并提供稳定的伪标签，以提供更好的性能。实验证明，在大多数情况下，EnSiam 能够胜过以往最先进的方法，包括在 ImageNet 上的实验，表明 EnSiam 能够学习到高质量的表示。

    May, 2023