通过不对称 InfoNCE 的对抗性对比学习

ECCVJul, 2022

通过不对称 InfoNCE 的对抗性对比学习

Adversarial Contrastive Learning via Asymmetric InfoNCE

Qiying Yu, Jieming Lou, Xianyuan Zhan, Qizhang Li, Wangmeng Zuo...

TL;DR通过引入不对称信息最大化损失函数（asymmetric InfoNCE objective），从而区分对待对抗样本，提高对抗鲁棒性。该方法在多种微调模型下均能取得优异的效果。

Abstract

contrastive learning (CL) has recently been applied to adversarial learning tasks. Such practice considers adversarial samples as additional positive views of an instance, and by maximizing their agreements with

contrastive learning adversarial samples asymmetric infonce objective adversarial robustness instance-level identity confusion

发现论文，激发创造

对抗样本的对比学习

本文提出了一种针对对抗性对比学习的新算法 CLAE，通过使用对抗性样本增强数据并在优化时考虑一个批次中的所有图片，能够更好地定义正负样本，充分提高自监督学习任务的性能和学习能力。

Oct, 2020

对抗性对比估计

本文提出了一种对比学习的方法，将负采样器增强为包含一个对抗性学习的混合分布，从而找到更难的负样本，这迫使主模型更好地学习数据的表示，通过在学习词嵌入、序列嵌入和知识图谱嵌入等方面进行评估，观察到了更快的收敛速度和更好的结果。

May, 2018

通过分布式鲁棒优化理解对比学习

该研究通过分析对比学习（CL）揭示了其对采样偏差具有内在的容忍度，并借助分布鲁棒优化（DRO）的视角填补了现有理论无法解释这一现象的研究空白，得出几个关键见解：（1）CL 实质上是在负采样分布上进行 DRO，从而在各种潜在分布中实现鲁棒性，并表现出对采样偏差的鲁棒性；（2）温度 τ 的设计不仅仅是启发式的，而且起到拉格朗日系数的作用，调节潜在分布集合的大小；（3）DRO 和互信息之间建立了理论联系，从而为 “InfoNCE 作为互信息的估计” 提供了新的证据，并提出了一种新的基于 φ- 散度的广义互信息估计方法。我们还确定了 CL 的潜在缺点，包括过度保守和对异常值的敏感性，并引入了一种新颖的调整的 InfoNCE 损失（ADNCE）来减轻这些问题。它改进了潜在分布，提高了性能并加快了收敛速度。在图像、句子和图等多个领域进行了大量实验证实了该方法的有效性。代码可在 https://github.com/junkangwu/ADNCE 上获取。

Oct, 2023

无偏差高效的自监督增量对比学习

本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

Jan, 2023

对比对抗训练中通过认知失调缓解实现健壮性

本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

Mar, 2022

InfoNCE: 理论与实践之间的差距辨识

在对比学习中，我们提出了 AnInfoNCE，它能够在现实场景中揭示潜在因素，并广义上推广了以往的可识别性结果。我们的控制实验验证了我们的可识别性结果，并展示了在 CIFAR10 和 ImageNet 中恢复先前已经损失的信息的能力，但同时降低了下游任务的准确度。此外，我们还探讨了理论假设与实际实现之间的进一步不匹配，包括对硬性负样本挖掘和损失集合的扩展。

Jun, 2024

AdCo：对抗性对比学习中使用自训练负对手有效学习无监督表示

通过直接学习一组对抗的负样本来提高自我学习表征的对比学习方法，我们的 Adversarial Contrastive (AdCo) 模型得到了更少迭代次数下更出色的性能，线性评估的 Top-1 准确率可以达到 73.2% (200 epochs) 和 75.7% (800 epochs)。

Nov, 2020

解耦对比学习

本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

Oct, 2021

条件负采样用于视觉表征对比学习

本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

Oct, 2020

对代码搜索中的负对进行重新思考

在这篇论文中，我们通过提出一种简单但有效的 Soft-InfoNCE 损失函数，通过将权重项插入 InfoNCE 来解决负样本的问题。我们对负样本的权重进行了三种方法的估计，并展示了原始的 InfoNCE 损失是 Soft-InfoNCE 的一种特殊情况。理论上，我们分析了 Soft-InfoNCE 对学习到的代码表示分布的控制效果，并推导出更精确的互信息估计。此外，我们还讨论了提出的损失函数与其他设计替代方案的优越性。通过在一个包含六种编程语言的大规模公共数据集上进行广泛的实验证明了 Soft-InfoNCE 和权重估计方法在最先进的代码搜索模型中的有效性。

Oct, 2023