Sep, 2020

具有无限可能性的联合对比学习

PDF
TL;DR本文探讨在对比学习中通过新的概率模型进行的有效修改。通过推导一个特殊形式的对比损失函数，即联合对比学习（JCL），JCL 在搜索不变特征时具有更紧的约束条件。我们提出了对这种形式的上界的研究，这种上界允许端到端的训练方式中的解析性解决方案。尽管 JCL 在多个计算机视觉应用中实用，但我们也从理论上揭示了支配 JCL 行为的某些机制。我们证明了所提议的公式具有固有的机制，强烈倾向于在每个实例特定的类别内保持相似性，因此在搜索不同实例之间的辨别特征时仍具有优势。我们在多个基准上评估了这些提议，展示了对现有算法的显著改进。
发现论文，激发创造
  • 联合对比学习用于无监督领域自适应

    本文提出了一种将源域和目标域相结合的联合优化框架，并引入了一种称为 JCL 的新方法，它利用对比损失来最大化特征和标签之间的互信息，以最小化联合误差，从而有效提高了特征传递性和分类效果。

    Jun, 2020

  • 对比学习在多标签文本分类中的应用研究

    本文提出了五个用于多标签多分类任务的对比损失，探索了对比学习在不同策略下用于多标签多分类任务的有效性，并为对比学习技术在多标签分类任务上提供了一组基准方法。本文的实验结果表明，我们提出的对比损失可以为多标签多分类任务带来一定的提升。我们的研究揭示，在多标签多分类任务中，如何 “适当地” 改变对比学习的对比方式是提高其适应性的关键思想。

    Dec, 2022

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024

  • 具备理论保证的强健对比学习

    通过开发严密的理论来剖析和确定无监督损失中能够帮助改善鲁棒监督损失的成分，并进行适当实验证实我们的发现。

    Nov, 2023

  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 无偏差高效的自监督增量对比学习

    本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。

    Jan, 2023

  • 自适应多头对比学习

    对比学习中，为了实现正样本对高相似度要求和负样本对低相似度要求，提出了使用多个投影头的自适应多头对比学习（AMCL）方法，通过使用每个投影头生成不同特征集合，以及通过自适应温度进行加权和正则化，针对问题进行改进。

    Oct, 2023