视觉表征学习的互惠对比学习

AAAIApr, 2021

Mutual Contrastive Learning for Visual Representation Learning

Chuanguang Yang, Zhulin An, Linhang Cai, Yongjun Xu

TL;DRMutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

Abstract

We present a collaborative learning method called mutual contrastive learning (MCL) for general visual representation learning. The core idea of MCL is to perform mutual interaction and transfer of contrastive di

mutual contrastive learning general visual representation learning interactive contrastive learning networks visual recognition tasks

发现论文，激发创造

在线对比学习的知识蒸馏在视觉识别中的应用

论文提出了一种互惠对比学习（MCL）框架来进行基于网络的集成学习，可以提高模型的特征表达能力，从而提高视觉识别任务的性能。

Jul, 2022

对比学习中的互信息在视觉表征中的应用

本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

May, 2020

弱监督对比学习

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

自监督对比学习的约束多视图表示

基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

Feb, 2024

具有无限可能性的联合对比学习

本文探讨在对比学习中通过新的概率模型进行的有效修改。通过推导一个特殊形式的对比损失函数，即联合对比学习（JCL），JCL 在搜索不变特征时具有更紧的约束条件。我们提出了对这种形式的上界的研究，这种上界允许端到端的训练方式中的解析性解决方案。尽管 JCL 在多个计算机视觉应用中实用，但我们也从理论上揭示了支配 JCL 行为的某些机制。我们证明了所提议的公式具有固有的机制，强烈倾向于在每个实例特定的类别内保持相似性，因此在搜索不同实例之间的辨别特征时仍具有优势。我们在多个基准上评估了这些提议，展示了对现有算法的显著改进。

Sep, 2020

无偏差高效的自监督增量对比学习

本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

Jan, 2023

MoCL: 基于知识感知对比学习的分子图数据驱动的分子指纹

本文研究了图对比学习在生物医药领域中的应用，提出了一种利用本地和全局领域知识来辅助表示学习的框架 MoCL。使用双重对比目标学习整个模型。在不同的分子数据集上进行了评估，结果表明 MoCL 达到了最先进的性能水平。

Jun, 2021

联邦对比学习的互信息视角

我们通过 SimCLR 和多视图互信息最大化的角度研究了联邦环境中的对比学习，其中发现了对比表示学习与用户验证之间的关联；通过在每个客户端的本地 SimCLR loss 加上用户验证损失，我们恢复了全局多视图互信息的下界。为了适应在客户端存在一些标记数据的情况，我们将 SimCLR 变体扩展到联邦半监督设置。我们发现可以通过两个改变来获得受监督的 SimCLR 目标：a) 对比损失是在具有相同标签的数据点之间计算的，b) 我们需要一个额外的辅助头部，从任一视图中预测正确的标签。除了我们提出的 SimCLR 扩展，我们还研究了不同非独立同分布性的来源对联邦无监督学习通过全局互信息最大化的性能的影响；我们发现全局目标对于某些非独立同分布性的来源是有益的，但对于其他来源可能是有害的。我们在各种任务中对我们提出的扩展进行了实证评估，以验证我们的论点，并进一步证明我们的修改方法推广到其他预训练方法。

May, 2024

多模态对比学习的泛化性

本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

Jun, 2023

以动作为中心的对比学习视频表征

本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

Jan, 2022