Jan, 2023

无偏差高效的自监督增量对比学习

PDF
TL;DR本文提出了一种自我监督的增量对比学习框架 (ICL)，采用增量信息 NCE 损失函数和深度强化学习率 (meta-optimization with LRL)，从而避免了必须重训练的缺点，并在不同领域的广泛实验中取得了 16.7 倍的训练加速和 16.8 倍快速收敛的竞争性结果。
contrastive learningincremental learningself-supervised learningnce lossdeep reinforcement learning
发现论文，激发创造
  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021

  • 基于贝叶斯学习的原型对比损失函数在类别增量学习中的应用

    我们提出了一个针对增量学习场景的原型网络和贝叶斯学习驱动对比损失（BLCL）的联合方法，该方法通过减小类内距离和增大类间距离，将新类别融入潜在表示中，动态调整交叉熵和对比损失函数之间的平衡，实证评估结果证明了我们方法的优越性。

    May, 2024

  • 面向非样本半监督类增量学习

    创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

    Mar, 2024

  • C-ICL: 对比上下文学习的信息抽取

    使用 c-ICL 方法，通过整合正确和错误的示例构造，通过使用正确的示例以及最近的正类示例，通过上下文学习展示来提高大型语言模型在信息提取方面的性能。

    Feb, 2024

  • CLCE：优化学习融合的交叉熵和对比学习的改进方法

    我们介绍了一种名为 CLCE 的新方法，将标签感知对比学习与 CE 相结合，通过有效的负样本挖掘增强性能，在少样本学习和迁移学习中使得 CLCE 显著优于 CE。

    Feb, 2024

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • SINCERE: 监督信息噪声对比估计再探讨

    通过改进 InfoNCE 的 Supervised InfoNCE REvisited（SINCERE）损失函数，我们提出了一种理论上合理的自监督深度学习方法，可以有效防止同类图像在嵌入空间中互相排斥，从而提高预训练过程中的类别嵌入分离性和最终线性分类器的性能。

    Sep, 2023

  • 通过不对称 InfoNCE 的对抗性对比学习

    通过引入不对称信息最大化损失函数（asymmetric InfoNCE objective），从而区分对待对抗样本，提高对抗鲁棒性。该方法在多种微调模型下均能取得优异的效果。

    Jul, 2022

  • 条件负采样用于视觉表征对比学习

    本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

    Oct, 2020

  • 残差对比学习用于图像重建：从噪声图像中学习可迁移的表征

    本文提出了一种基于残差的对比度学习（residual contrastive learning，RCL）的无监督视觉表示学习框架，用于低层次视觉任务，减少了现有对比度学习框架中存在的实例鉴别前提任务和下游图像重建任务之间的任务不匹配问题。实验证明，RCL 可以学习出稳健且可传递的表示，改善了各种下游任务如降噪和超分辨率的表现，并显著减少了注释成本。

    Jun, 2021