Mar, 2024

正交锚定的对比学习（CLOA）

PDF
TL;DR本研究旨在解决对比学习中普遍存在的不稳定问题，具体研究 InfoNCE 损失函数及其导数。我们揭示了这些损失函数表现出的一种限制行为，导致嵌入倾向于融合成一个奇异点的收敛现象，从而对后续的有监督学习任务中的分类准确性产生不利影响。通过理论分析，我们证明当嵌入被等化或限制在一个一维线性子空间时，它们代表了 InfoNCE 的一个局部最小值。我们的研究提出了一种创新策略，利用与精调阶段中通常使用的标记数据相同或更少的数据。我们提出的损失函数，正交锚回归损失，旨在解开嵌入聚类，显著增强每个嵌入的独特性，同时确保它们聚合到密集的、明确定义的聚类中。我们的方法在 CIFAR10 和 CIFAR100 数据集上通过仅使用传统标记要求的一小部分数据取得了显著改善，这一点可以从实验结果中得到证明。
contrastive learninginfonce lossover-fusion effectsupervised-learning tasksorthonormal anchor regression loss
发现论文，激发创造
  • 有监督对比损失学习正交框架及批次关系

    本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

    Jun, 2023

  • 标签锚定对比学习用于语言理解

    本文提出一种基于标签锚定的对比学习方法（LaCon），用于自然语言理解分类任务中，不需要专门的网络架构或任何额外的数据增强，可轻松插入现有的强大预训练语言模型，相比于现有最先进技术，LaCon 在 GLUE 和 CLUE 基准测试数据集上有高达 4.1% 的提升，同时在少量样本和数据失衡的情况下也展现出显著的优势，获取了 FewGLUE 和 FewCLUE 基准测试任务高达 9.4% 的提升。

    Apr, 2022

  • 类别锚点聚类：一种基于距离的开放集识别损失函数

    本文介绍了一种基于距离的损失函数 ——Class Anchor Clustering (CAC) loss，可明确地训练已知类别在对数空间形成紧密聚类，从而增强网络模型的开集识别表现，在六个标准基准数据集上取得了最先进的表现，并且不会影响分类准确性。

    Apr, 2020

  • 基于锚点的视觉语言模型的鲁棒微调

    我们提出了一种补偿微调过程的方法，利用具有丰富语义信息的辅助监督作为锚点来保留原始的 CLIP 特征空间，从而保持了 OOD 泛化性能，并在领域迁移和零样本学习基准上取得了新的最先进结果。

    Apr, 2024

  • OLÉ: 正交低秩嵌入，一种适用于深度学习的即插即用几何损失

    本文提出了一种基于正交低秩嵌入的深度学习损失函数方法，用于同时提高图像分类的内部同类相似度和不同类之间的距离。该方法不需要手动选择训练样本，可以作为一个分类损失函数独立使用，并且可以提高深度网络的泛化能力、辨别能力和鲁棒性，特别是在数据 / 模型较小的情况下，能够显著提高 Stanford STL-10 数据集上的表现。

    Dec, 2017

  • 监督对比损失的神经坍缩几何工程

    我们提出了一种修改对比损失函数来调整学习特征嵌入几何结构的方法，通过使用原型在每个批次中引导学习嵌入和原型的几何一致性，并在深度神经网络上基于基准视觉数据集进行了一系列实验证实。

    Oct, 2023

  • 通过分布式鲁棒优化理解对比学习

    该研究通过分析对比学习（CL）揭示了其对采样偏差具有内在的容忍度，并借助分布鲁棒优化（DRO）的视角填补了现有理论无法解释这一现象的研究空白，得出几个关键见解：（1）CL 实质上是在负采样分布上进行 DRO，从而在各种潜在分布中实现鲁棒性，并表现出对采样偏差的鲁棒性；（2）温度 τ 的设计不仅仅是启发式的，而且起到拉格朗日系数的作用，调节潜在分布集合的大小；（3）DRO 和互信息之间建立了理论联系，从而为 “InfoNCE 作为互信息的估计” 提供了新的证据，并提出了一种新的基于 φ- 散度的广义互信息估计方法。我们还确定了 CL 的潜在缺点，包括过度保守和对异常值的敏感性，并引入了一种新颖的调整的 InfoNCE 损失（ADNCE）来减轻这些问题。它改进了潜在分布，提高了性能并加快了收敛速度。在图像、句子和图等多个领域进行了大量实验证实了该方法的有效性。代码可在 https://github.com/junkangwu/ADNCE 上获取。

    Oct, 2023

  • 正交投影损失

    文章提出了一种新的损失函数 OPL，以加强交叉熵损失函数在特征空间中的类内聚类和类间分离，这种方法在图像识别等任务中取得了良好的效果，并且具有更好的鲁棒性。

    Mar, 2021

  • OrCo：通过正交性和对比度实现更好的少样本类增量学习的泛化

    Few-Shot Class-Incremental Learning (FSCIL) introduces the OrCo framework, which addresses challenges of catastrophic forgetting and data limitations during incremental sessions through features' orthogonality and contrastive learning, resulting in state-of-the-art performance across benchmark datasets.

    Mar, 2024

  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021