Sep, 2023

失败模式的三重困境及可能的出路

PDF
TL;DR我们提出了一种针对基于聚类的自主学习（SSL）的全新客观函数，旨在解决表示坍塌、聚类坍塌和集群分配排列不变性等三种失败模式的问题。我们的目标函数包含三个关键组成部分：（i）惩罚表示坍塌的生成项，（ii）促进对数据增强的不变性，从而解决标签排列问题，以及（ii）惩罚聚类坍塌的一致性项。此外，我们的目标函数具有两个值得注意的优点：首先，从贝叶斯的角度来看，它可视为数据对数似然的下界。其次，它可以训练标准的主干架构，无需使用诸如停止梯度、动量编码器或专门的聚类层等非对称元素。通过其简洁性和理论基础，我们提出的目标函数非常适合优化。在玩具数据和实际数据的实验中证明了其有效性。
cluster-based self-supervised learningrepresentation collapsecluster collapseinvariance to permutationsbackbone architecture
发现论文，激发创造
  • 自监督学习中的损失函数模型

    通过对自监督学习损失地景的理论推导和分析，揭示了其维度崩溃的原因和机制，探讨了正规化和偏差的影响，并阐明了维度崩溃的益处及其对于自监督学习数据失衡鲁棒性的影响。

    Oct, 2022

  • 大多数自监督学习方法背后的共同稳定性机制

    通过解释对比技术如 SimCLR 和非对比技术如 BYOL、SWAV、SimSiam、Barlow Twins 和 DINO 的工作机制，提供了稳定机制的框架，论证了这些不同的自监督学习技术在隐式上优化类似的目标函数，同时提供数学和经验数据支持。

    Feb, 2024

  • TriNet：稳定自监督学习，防止 ASR 系统完全或缓慢崩溃

    本文提出 TriNet 模型，利用三分支结构防止信息崩溃和维护预训练稳定性，学习自我监督潜在嵌入空间并将其纳入更高级别的空间用于对由冻结老师生成的伪目标向量进行预测，实验结果表明相对于 Data2vec 等最新技术，TriNet 显著稳定并加速了预训练，ASR 任务相对于基准的字错率下降了 6.06％

    Dec, 2022

  • 自监督表示学习的结构对抗目标

    在生成对抗网络（GAN）框架中，通过额外的结构建模责任，我们提出了使鉴别器能够进行自监督表示学习的目标。结合在网络上施加的高效光滑正则化器，这些目标指导鉴别器学习提取信息性表示，同时保持能够从领域中进行采样的生成器。具体而言，我们的目标鼓励鉴别器在两个粒度级别上对特征进行结构化处理：在粗粒度上对齐分布特征，如均值和方差，在细粒度上将特征分组为本地聚类。作为 GAN 框架中的特征学习器，我们的自监督系统不再依赖于普遍存在于对比表示学习方法中的手工数据增强方案。在 CIFAR-10/100 和 ImageNet 子集上的实验表明，配备我们的自监督目标的 GAN 能够产生在表示学习方面与对比学习方法训练的网络竞争的鉴别器。

    Sep, 2023

  • 信息最大化准则的自监督学习

    本文介绍一种基于互信息的 self-supervised 方法 CorInfoMax，该方法通过最大化高斯混合分布下的互信息解决了 mode collapse 和 dimensional collapse 问题。

    Sep, 2022

  • 通过预测网络和停梯度方法，实现 BYOL/SimSiam 的隐式方差正则化

    本论文研究了自监督学习的非对比方法，通过构建 DirectPred 理论框架，分析了线性网络的表示学习动态，并通过共轭积的方法提供了一个显式的方差规则机制，提出了一种新的各向同性损失函数，并在 CIFAR-10 和 STL-10 数据集上证明了理论发现的正确性。

    Dec, 2022

  • 自监督集合表示学习用于无监督元学习

    通过合成样本，提取特征和目标特征之间的均方误差来研究自监督学习中数据集蒸馏和特征提取的方法，并在转移学习中进行了验证。

    Oct, 2023

  • FroSSL: 自监督学习的 Frobenius 范数最小化

    自监督学习（SSL）是一种越来越流行的表示学习范例。我们提出了 FroSSL 目标函数，通过最小化协方差 Frobenius 范数以避免坍缩和最小化均方误差以实现增强不变性，从而比其他 SSL 方法更快地收敛，并在各种数据集上展示了竞争性表示学习的能力。

    Oct, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 巴洛双胞胎：基于冗余减少的自监督学习

    提出了一种名为 Barlow Twins 的自监督学习方法，通过在两个相同的网络中输入扭曲版本的样本并测量它们输出的相关性矩阵，使嵌入向量在保持相似性的同时最小化它们之间的冗余。该方法在低数据范围内的半监督分类上优于以前的方法，并对于使用线性分类器头部的 ImageNet 分类和分类与目标检测的转移任务与当前最先进的方法相媲美。

    Mar, 2021