Feb, 2024

$f$-MICL：理解和推广基于 InfoNCE 的对比学习

PDF
TL;DR该研究论文通过将 KL-based mutual information 推广为 $f$-Mutual Information in Contrastive Learning ($f$-MICL)，使用 $f$-divergences，并设计了一种更好的 Gaussian 相似度来回答两个问题：是否可以超越基于 KL 的目标函数？除了流行的 cosine 相似度外，是否可以设计出更好的相似度函数？在多个任务和数据集上进行实证评估，发现 $f$-MICL 普遍优于基准，并且 $f$-divergence 的选择与任务和数据集有关。
self-supervised contrastive learning$f$-mutual information in contrastive learninginfonce$f$-divergencesgaussian similarity
发现论文，激发创造
  • 通过逐点互信息理解多模态对比学习

    本研究探讨了多模态表示学习中对称 InfoNCE 损失的理论理解，通过点间互信息的视角展示了达到预训练最优相似度的编码器在下游分类任务中提供了良好的表示。我们基于理论结果，提出了一种新的多模态对比学习相似度度量方法，并利用非线性核函数增强了其能力。通过在 Conceptual Caption 数据集上进行多模态表示模型的预训练，并在常用基准数据集上进行零样本分类和线性分类的评估，验证了所提方法的有效性。

    Apr, 2024

  • 对比学习是基于相似度图的谱聚类

    本文研究了对比学习的等价性和理论基础，并建立了对比学习与谱聚类算法之间的等价性。同时，我们探讨了多模态对象是如何相似地嵌入在一起的，并提出了一种新的核混合损失，相较标准高斯核在几个视觉数据集上有更好的表现。

    Mar, 2023

  • 使用逆对比损失学习不变表示

    使用反对比损失、正则化 MMD 分散度等技巧，提出了一种用于学习不受干扰的不变表示的新算法，适用于二元和连续干扰变量。

    Feb, 2021

  • 对比学习中互信息的严谨分析

    对比学习通过互信息分析的深入研究，引入了三种新方法和一些相关定理，以增强互信息分析的严谨性，并通过重新评估对比学习分析的三个实例，展示了它们在加深理解或纠正误解方面的能力。

    Aug, 2023

  • 对比学习中的互信息在视觉表征中的应用

    本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

    May, 2020

  • 联邦对比学习的互信息视角

    我们通过 SimCLR 和多视图互信息最大化的角度研究了联邦环境中的对比学习，其中发现了对比表示学习与用户验证之间的关联；通过在每个客户端的本地 SimCLR loss 加上用户验证损失，我们恢复了全局多视图互信息的下界。为了适应在客户端存在一些标记数据的情况，我们将 SimCLR 变体扩展到联邦半监督设置。我们发现可以通过两个改变来获得受监督的 SimCLR 目标：a) 对比损失是在具有相同标签的数据点之间计算的，b) 我们需要一个额外的辅助头部，从任一视图中预测正确的标签。除了我们提出的 SimCLR 扩展，我们还研究了不同非独立同分布性的来源对联邦无监督学习通过全局互信息最大化的性能的影响；我们发现全局目标对于某些非独立同分布性的来源是有益的，但对于其他来源可能是有害的。我们在各种任务中对我们提出的扩展进行了实证评估，以验证我们的论点，并进一步证明我们的修改方法推广到其他预训练方法。

    May, 2024

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • 无偏差高效的自监督增量对比学习

    本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

    Jan, 2023

  • 深度学习的学习函数与语义信息度量的演变综述

    本文概述了深度学习的新趋势，即利用相似性函数和信息估计函数作为学习和目标函数的相互信息神经估计和信息噪声对比估计，介绍了作者提出的语义信息 G 理论及应用在多标签学习、最大互信息分类和混合模型等方面，探讨了从 G 函数或 G 理论的角度理解语义互信息与 Shanon 互信息、混合模型、Gibbs 分布和分区函数等的关系，并提出了利用高斯信道混合模型来预训练深度神经网络潜在层的潜在机会和使用语义互信息作为增强学习的奖励函数。

    May, 2023

  • 多相似性对比学习

    基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。

    Jul, 2023