Jan, 2024

提高对比学习效果的有效组合正样本对

PDF
TL;DR在过去的几年中，对比学习在视觉无监督表示学习的成功中起到了核心作用。我们仔细审查现有的多视图方法，并提出了一种通用的多视图策略，可以提高任何对比或非对比方法的学习速度和性能。我们首先分析了 CMC 的全图范例，并通过实验证明，在小的学习率和早期训练阶段，K 个视图的学习速度可以提高 K 次。然后，我们通过混合仅采用裁剪增强的视图、采用 SwAV 多裁剪中的小尺寸视图、修改负采样来升级 CMC 的全图。得到的多视图策略被称为 ECPP（高效组合正样本对）。我们通过将 ECPP 应用于 SimCLR，并评估其对 CIFAR-10 和 ImageNet-100 的线性评估性能来调查 ECPP 的有效性。对于每个基准，我们都取得了最先进的性能。在 ImageNet-100 的情况下，ECPP 提升后的 SimCLR 优于有监督学习。
发现论文，激发创造
  • 多视角对比学习

    通过信息最大化和充分统计推导出新的表示学习目标，研究了多视图任务的匹配，在有限的计算预算中降低唯一样本数同时增加这些样本的视图数，与 SimCLR 相比，训练 128 个时期，批量大小 256 的多视图对比模型在 ImageNet1k 上的性能超越了训练 1024 个时期，批量大小 4096 的 SimCLR，对于对比模型需要大批量和长时间训练的观念提出了挑战。

    Mar, 2024

  • 构建更好的对比视图，用于孪生神经网络表示学习

    提出了 ContrastiveCrop，一种用于 Siamese 表示学习的更好对比对的生成方法，该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差，成功提高了自我监督学习中 SimCLR，MoCo，BYOL，SimSiam 等方法的分类准确率，同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。

    Feb, 2022

  • 自适应多头对比学习

    对比学习中，为了实现正样本对高相似度要求和负样本对低相似度要求，提出了使用多个投影头的自适应多头对比学习（AMCL）方法，通过使用每个投影头生成不同特征集合，以及通过自适应温度进行加权和正则化，针对问题进行改进。

    Oct, 2023

  • 增强对比实例判别的语义正对组

    本研究提出了一种基于语义正例对集合（SPPS）的方法，它可以降低在表示学习期间丢失重要特征的风险，并在 ImageNet，STL-10 和 CIFAR-10 数据集上验证了该方法的可行性。

    Jun, 2023

  • CoViews：利用合作视图进行自适应增强对比学习

    本文提出了一种学习高效自适应数据增强策略的对比学习框架，通过在训练过程中持续生成新的数据增强策略，无需任何监督，有效生成高质量的正负对，进而提升对比学习性能。实验证明，使用视图相关的增强策略训练优于使用所有视图共享的独立策略，在多个数据集和对比学习框架上验证了方法的一致优越性。

    May, 2024

  • 通过对比聚类分配实现视觉特征的无监督学习

    本文介绍了一种在线聚类算法 SwAV，在不需要计算成对对比的基础上，通过使用一种被称为预测机制的方式来建立视图之间的一致性，并提出了一种新的数据增强策略多裁剪，在 ImageNet 数据集上达到 75.3％的 top-1 准确率，并超出了所有考虑的迁移任务的监督预训练。

    Jun, 2020

  • 多模态学习中对比损失的重要性

    通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

    Apr, 2023

  • 可组合增强编码用于视频表示学习

    研究自监督视频表示学习中的对比方法，提出一种考虑数据增强变量的对比学习框架，以提高针对时间信息进行的微粒视频动作识别的性能，并在多个视频基准测试中达到最先进水平。

    Apr, 2021

  • 多模态对比学习的泛化性

    本文通过建立多模态对称矩阵分解和对称矩阵分解的内在联系，证明了多模态对比学习在图像下游任务中的泛化保证，并通过统一模型表明多模态对比学习隐含地通过文本对生成了伪正对，从而具有更多的语义一致和多样性正对，可显著提高基于自我监督的对比学习在图像分类中的性能。

    Jun, 2023

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021