Sep, 2023

SINCERE: 监督信息噪声对比估计再探讨

PDF
TL;DR通过改进 InfoNCE 的 Supervised InfoNCE REvisited（SINCERE）损失函数，我们提出了一种理论上合理的自监督深度学习方法，可以有效防止同类图像在嵌入空间中互相排斥，从而提高预训练过程中的类别嵌入分离性和最终线性分类器的性能。
information noise-contrastive estimationself-supervised deep learningsupervised contrastive losssupervised infonce revisitedembedding distributions
发现论文，激发创造
  • 完美平衡：改善监督对比学习的迁移性和鲁棒性

    通过向 SupCon 添加适当加权的类条件 InfoNCE 损失和类条件自编码器，可以在 5 个标准数据集上实现从粗糙到细致的迁移，以及在 3 个数据集上实现最差组的鲁棒性提高 4.7 个点，同时在 CelebA 上达到 11.5 个点的最优表现。

    Apr, 2022

  • 无偏监督对比学习

    本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

    Nov, 2022

  • 排名信息噪音对比估计：通过排名正例提高对比学习

    该论文提出了一种名为排名信息噪声对比估计 (RINCE) 的新的信息噪声对比损失，它可以利用相似性排名的信息来学习相应的嵌入空间，并且相比标准 InfoNCE，RINCE 可以通过不完全划分相似和不相似样本的情况来自适应探索相似性信息。此外，该损失函数也可以应用于无监督训练，针对视频的无监督学习，可展现出更优的分类精度、检索率和越界检测表现。

    Jan, 2022

  • 使用软目标进行条件模型的噪声对比估计

    通过提出一个新的损失函数，本文解决了 InfoNCE 无法与软目标结合使用的限制，并在常见基准测试中表现优异，包括 ImageNet。

    Apr, 2024

  • 平滑对比学习用于无监督句子嵌入

    该论文提出了一种简单有效的平滑策略 (Gaussian Smoothing InfoNCE)，以解决在使用较大 batch size 时信息噪声过多导致性能下降的问题，在标准语义文本相似度任务 (STS) 上表现超过了目前最先进的无监督学习方法 (unsup-SimCSE)

    Sep, 2021

  • 无偏差高效的自监督增量对比学习

    本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

    Jan, 2023

  • 对代码搜索中的负对进行重新思考

    在这篇论文中，我们通过提出一种简单但有效的 Soft-InfoNCE 损失函数，通过将权重项插入 InfoNCE 来解决负样本的问题。我们对负样本的权重进行了三种方法的估计，并展示了原始的 InfoNCE 损失是 Soft-InfoNCE 的一种特殊情况。理论上，我们分析了 Soft-InfoNCE 对学习到的代码表示分布的控制效果，并推导出更精确的互信息估计。此外，我们还讨论了提出的损失函数与其他设计替代方案的优越性。通过在一个包含六种编程语言的大规模公共数据集上进行广泛的实验证明了 Soft-InfoNCE 和权重估计方法在最先进的代码搜索模型中的有效性。

    Oct, 2023

  • 自监督共同训练用于视频表示学习

    本文提出以自监督为主的视频特征学习方法，其中利用语义正例和共同训练提高了训练效果，同时也获得了在动作识别等任务上与其他自监督方式相当的性能。

    Oct, 2020

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 基于信息最小化的对比学习模型用于无监督句向量学习

    利用信息最小化的对比学习模型 (InforMin-CL) 实现了无监督句子表示学习，通过最大化正实例之间的互信息并最小化其信息熵来保留有用信息和丢弃多余信息。实验结果表明，该模型在包括监督和无监督任务在内的十四个下游任务中取得了最先进的性能。

    Sep, 2022