Oct, 2023

自适应多头对比学习

PDF
TL;DR对比学习中，为了实现正样本对高相似度要求和负样本对低相似度要求，提出了使用多个投影头的自适应多头对比学习（AMCL）方法，通过使用每个投影头生成不同特征集合，以及通过自适应温度进行加权和正则化，针对问题进行改进。
contrastive learningpositive pairnegative pairmultiple projection headsadaptive temperature
发现论文，激发创造
  • ScoreCL：基于分数匹配函数的自适应对比学习增强

    本文提出了一种基于 score-matching 函数的自监督对比学习方法 ScoreCL，通过自适应加权每对数据，改善了现有方法的性能，并在 CIFAR-10、CIFAR-100 和 ImageNet-100 上领先了多种方法，证明了其普适性。

    Jun, 2023

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 多视角对比学习

    通过信息最大化和充分统计推导出新的表示学习目标，研究了多视图任务的匹配，在有限的计算预算中降低唯一样本数同时增加这些样本的视图数，与 SimCLR 相比，训练 128 个时期，批量大小 256 的多视图对比模型在 ImageNet1k 上的性能超越了训练 1024 个时期，批量大小 4096 的 SimCLR，对于对比模型需要大批量和长时间训练的观念提出了挑战。

    Mar, 2024

  • 多模态对比学习的泛化性

    本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

    Jun, 2023

  • 提高对比学习效果的有效组合正样本对

    在过去的几年中，对比学习在视觉无监督表示学习的成功中起到了核心作用。我们仔细审查现有的多视图方法，并提出了一种通用的多视图策略，可以提高任何对比或非对比方法的学习速度和性能。我们首先分析了 CMC 的全图范例，并通过实验证明，在小的学习率和早期训练阶段，K 个视图的学习速度可以提高 K 次。然后，我们通过混合仅采用裁剪增强的视图、采用 SwAV 多裁剪中的小尺寸视图、修改负采样来升级 CMC 的全图。得到的多视图策略被称为 ECPP（高效组合正样本对）。我们通过将 ECPP 应用于 SimCLR，并评估其对 CIFAR-10 和 ImageNet-100 的线性评估性能来调查 ECPP 的有效性。对于每个基准，我们都取得了最先进的性能。在 ImageNet-100 的情况下，ECPP 提升后的 SimCLR 优于有监督学习。

    Jan, 2024

  • 对比自监督学习框架及设计新方法

    通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

    Aug, 2020

  • 对抗式课程图对比学习与配对数据增强

    提出了一种创新的框架：对抗课程图对比学习（ACGCL），利用成对增强技术生成可控相似性的图级正负样本，并通过子图对比学习鉴别其中的有效图模式。ACGCL 框架内还设计了一种新颖的对抗课程训练方法，通过逐渐增加样本难度来促进渐进学习。最后，通过对六个知名基准数据集进行全面评估，ACGCL 显著超过一组最先进的基准。

    Feb, 2024

  • 视觉表征学习的互惠对比学习

    Mutual Contrastive Learning (MCL) is a powerful method for improving feature representations for visual recognition tasks through the mutual interaction and transfer of contrastive distributions among a cohort of networks, achieved through the use of Interactive Contrastive Learning (ICL) to aggregate cross-network embedding information.

    Apr, 2021

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 最大间隔对比学习

    本研究在无监督学习中采用了最大化分类器决策边界的最大间隔对比学习方法，通过 SVM 优化问题选择出稀疏支持向量作为负样本，并优化算法以减小计算复杂度，从而在视觉基准数据集中获得了更好的无监督表征学习性能。

    Dec, 2021