Nov, 2023

关于在具有硬负采样的监督和非监督对比学习中的神经和维度崩塌

PDF
TL;DR对于一种广泛研究的数据模型和一般损失和样本硬化函数，我们证明了监督对比学习（SCL）、强制对比学习（HSCL）和无监督对比学习（UCL）的风险在表现出神经塌缩（NC）的表示下被最小化，即类别平均值形成一个等角紧框架（ETF），同一类别的数据映射到相同的表示。我们还证明了对于任何表示映射，相应的 HSCL 和 Hard-UCL（HUCL）的风险都被相应的 SCL 和 UCL 的风险下界约束。虽然 ETF 对于 SCL 的最优性已知，但只在 InfoNCE 损失情况下有效，然而在一般损失和硬化函数下，对于 HSCL 和 UCL 的最优性是新颖的。此外，我们的证明更为简洁、紧凑且透明。我们通过实验证明，初次尝试使用随机初始化和适当的硬度级别下的 HSCL 和 HUCL 风险的 ADAM 优化，结合单位球或单位球面特征归一化，确实可以收敛到 NC 几何形状。然而，不加入硬负样本或特征归一化的情况下，通过 ADAM 学习的表示存在维度塌缩（DC），并不能达到 NC 几何形状。
发现论文，激发创造
  • 监督对比表示学习：无约束特征的景观分析

    透过神经坍塌（Neural-collapse）的模式来研究优化的对比损失（supervised contrastive loss）在超参数化的深度神经网络中产生的解决方案，该论文通过采用无约束特征模型（UFM）的分析方法，证明了所有局部最小值都是全局最小值，而最小化器是唯一的（除了旋转）。最后，通过这个凸形式，深入研究在标签不平衡的训练数据下全局解的特性。

    Feb, 2024

  • 基于无约束 ReLU 特征模型的交叉熵类不平衡学习的神经倒塌

    在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

    Jan, 2024

  • 监督对比损失的神经坍缩几何工程

    我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

    Oct, 2023

  • 通过超球形均匀间隙实现神经坍塌的泛化和解耦

    该研究提出了广义神经坍塌假设（GNC），使用超球统一性作为衡量内部类别可变性和外部类别可分性的框架，提出一种泛化目标 HUG，通过测量 GNC 和 HUG 之间的差异来解耦 GNC，作为一种有效的交叉墒代价函数的替代函数。

    Mar, 2023

  • 有监督对比损失学习正交框架及批次关系

    本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

    Jun, 2023

  • 深度线性网络中的神经崩溃：从平衡到不平衡数据

    研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

    Jan, 2023

  • 无约束特征模型下的神经塌陷问题

    本研究通过在不受约束的特征模型背景下，研究了交叉熵损失函数下不平衡数据的神经崩溃现象，发现特征向量在同一类中收敛为相同的平均向量，并确定了少数类崩溃的临界阈值，并且结果表明，数据大小不平衡的影响随着样本大小的增长而减小。实验结果验证了理论分析。

    Sep, 2023

  • 多标签学习中的神经网络崩溃问题与全局标签损失

    我们研究了深度神经网络在多标签分类任务中的神经折叠现象，通过研究我们证明了具有 “选择全部标签” 形式的广义神经折叠现象成立，同时发现了多标签学习中独特的 “标签平均” 的组合属性，并在理论上建立了全局优化结果和训练效率的实证证据。

    Oct, 2023

  • 神经网络在均方误差损失下的优化景观：无约束特征下的全局最优性

    在分类任务的深度神经网络训练中，观察到了一个现象，称为神经崩溃，它似乎无论损失函数的选择如何，都会在最后一层分类器和特征中发生。作者提供了在均方误差损失下，神经崩溃解决方案是唯一的全局极小值，并且研究了调整超参数来改善优化景观的可能性，最后在实际网络框架上验证了理论发现。

    Mar, 2022

  • 失衡问题：重新审视神经陷入坍塌的几何特性

    本文通过使用无限制特征模型和引入 Simplex 编码标签插值（SELI）作为神经坍塌现象的不变特征，证明了在使用交叉熵损失和消失正则化时，不受类别不平衡的影响，分类器总是插值出一个 Simplex 编码标签矩阵，而它们的几何形状取决于相同标签矩阵的 SVD 因子。同时，实验结果也表明收敛速度会随着类别不平衡的增加而变慢，并证明正则化对于修正分类器的几何形状也有着至关重要的作用。

    Aug, 2022