在过去的几年中，对比学习在视觉无监督表示学习的成功中起到了核心作用。我们仔细审查现有的多视图方法，并提出了一种通用的多视图策略，可以提高任何对比或非对比方法的学习速度和性能。我们首先分析了 CMC 的全图范例，并通过实验证明，在小的学习率和早期训练阶段，K 个视图的学习速度可以提高 K 次。然后，我们通过混合仅采用裁剪增强的视图、采用 SwAV 多裁剪中的小尺寸视图、修改负采样来升级 CMC 的全图。得到的多视图策略被称为 ECPP（高效组合正样本对）。我们通过将 ECPP 应用于 SimCLR，并评估其对 CIFAR-10 和 ImageNet-100 的线性评估性能来调查 ECPP 的有效性。对于每个基准，我们都取得了最先进的性能。在 ImageNet-100 的情况下，ECPP 提升后的 SimCLR 优于有监督学习。

Jan, 2024

对比学习中，为了实现正样本对高相似度要求和负样本对低相似度要求，提出了使用多个投影头的自适应多头对比学习（AMCL）方法，通过使用每个投影头生成不同特征集合，以及通过自适应温度进行加权和正则化，针对问题进行改进。

Oct, 2023

本文提出一种新的对抗噪声视图具有鲁棒性的对比损失函数，它在图像、视频和图形上的对比学习基准测试中提供了一致的改进，并且是模态无关和与 InfoNCE 损失的一个简单替代方法。

Jan, 2022

通过分析一个简单的多模态对比学习模型的训练动态，我们展示了对比对是提高学习效率和平衡学习表示非常重要的因素。特别地，正对会驱使模型在增加条件数的代价下对齐表示，而负对将减小条件数，保持表示的平衡。

Apr, 2023

这篇论文研究不同视角之间的关联性对于对比学习在无监督和半监督任务中的重要性，并提出通过减少视角之间的互信息来学习有效的视角以提高下游任务的准确性。同时，作者在 ImageNet 分类和 PASCAL VOC 目标检测以及 COCO 实例分割任务上通过对比实验展示了他们提出方法的高效性。

May, 2020

本论文探讨了基于对比学习的图像表示学习方法，提出了一种最大化互信息的下界的目标函数，并在实验中发现选择难度更大的负样本以及视角可以提高算法性能。通过比较多种学习方法，研究结果表明，基于互信息的目标函数可以使得算法在分类、边界框检测、实例分割和关键点检测等任务上获得更好的表现。

May, 2020

本文研究了一个强大的表示形式，该表示形式对场景的多视图和不完整信息进行建模，通过多视图对比学习来提取多个视角得到的公共信息，该方法优于基于视图交叉预测的选择，经过检验实现了最先进的图像和视频无监督学习基准结果。

Jun, 2019

提出了 ContrastiveCrop，一种用于 Siamese 表示学习的更好对比对的生成方法，该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差，成功提高了自我监督学习中 SimCLR，MoCo，BYOL，SimSiam 等方法的分类准确率，同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。

Feb, 2022

本文提出了一种学习高效自适应数据增强策略的对比学习框架，通过在训练过程中持续生成新的数据增强策略，无需任何监督，有效生成高质量的正负对，进而提升对比学习性能。实验证明，使用视图相关的增强策略训练优于使用所有视图共享的独立策略，在多个数据集和对比学习框架上验证了方法的一致优越性。

May, 2024

基于表示距离的互信息最大化方法用于量化不同视图的重要性，进而实现更高效的对比学习和表示解耦。通过在频率域提取多视图表示，并基于不同频率之间的互信息重新评估其重要性，本文提出的框架能够有效约束互信息最大化驱动的表示选择，推动多视图对比学习。

Feb, 2024