Oct, 2020

MixCo：视觉表征的混合对比学习

PDF
TL;DR本篇论文提出一种名为 MixCo 的半阳性对比学习方法，它可以通过学习混合图像的相关相似度，有效提高自我监督学习中的图像表示性能。在实验中，MixCo 在 TinyImageNet、CIFAR10 和 CIFAR100 等基准测试集上一致地提高了测试准确率，且当模型大小等学习能力受限时，改进效果更为显著。
contrastive learningself-supervised approachesvisual representationsemi-positivesmixco
发现论文，激发创造
  • EqCo: 自监督对比学习的等效规则

    本文提出 EqCo（基于等效规则的对比学习），可以使用仅包含极少数量负样本（如每个查询仅包含 16 个）的自监督对比训练在大规模图像数据集（如 ImageNet）上以接近原有准确率进行，缩短了当前实践中大型批量训练或记忆库机制所需的训练时间。此外，作者提出的 simplified MoCo（SiMo）在使用较少负样本情况下在 ImageNet 上表现与 MoCov2 相当，提示负样本数量不是对比学习框架的关键因素。

    Oct, 2020

  • 合作 - 对抗性对比学习：正样本和负样本均可直接学习

    本文提出了一种有原则的方法来直接学习正样例和负样例，以配合和对抗的方式通过最大化和最小化对比损失来学习，获得了较好的预训练结果并开源了源代码和预训练模型。

    Mar, 2022

  • Un-Mix: 重新思考无监督视觉表示学习中的图像混合

    该论文提出了一种基于标签空间的无监督学习方法 (Un-Mix)，通过混合输入数据进行联合工作，从而学习到更加精细、鲁棒且广义的表示。实验证明，在 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 和 ImageNet 等数据集上，该方法均可以在保持基本方法的超参数和训练程序不变的条件下，显著提高模型的泛化性能。

    Mar, 2020

  • MimCo: 带对比教师的遮蔽图像建模预训练

    本文提出了一种名为 MimCo 的新型、灵活的预训练框架，通过两阶段的预训练，将 MIM 和对比学习相结合，提高了 MIM 预训练表示的线性可分性，取得了优越的性能。

    Sep, 2022

  • 扩展动量对比法：基于交叉相似性一致性正则化

    该篇论文论述了一种名为 Extended Momentum Contrast (XMoCo) 的自我监督表示学习方法，该方法利用新的跨一致性正则化损失来扩展 MoCo 家族配置中动量编码器单元的框架，以处理消极样本交互所存在的特定差异和相似性。

    Jun, 2022

  • CoMatch：对比图正则化的半监督学习

    CoMatch 是一种新的半监督学习方法，它通过学习数据的两种表示（类概率和低维嵌入）相互作用来统一主流方法并解决其局限性，并在多个数据集上实现了最先进的性能。

    Nov, 2020

  • 对比学习的硬负样本混合

    研究表明，在自监督学习中使用 hard negatives, 数据混合等技术可以提高视觉表示的质量，本文提出了一种基于特征水平的硬负例混合策略，并在多个任务上验证其有效性。

    Oct, 2020

  • CoCon: 合作 - 对比学习

    我们提出了一种协作版对比学习方法，利用数据驱动的采样来利用多个输入视频视图之间的隐式关系，以应对该问题，并在动作识别这一下游任务上取得了竞争性能表现。

    Apr, 2021

  • 通过可视化特征变换来改善对比学习

    本论文研究了对比学习中正负样本设计的关键问题，并提出一种不同于数据增强的特征级数据操作策略，提高对比自监督学习的学习效果。作者们使用可视化工具分析数据，提出正样本外推和负样本插值两种特征变换策略，将其应用于图像分类任务，实验结果表明，本论文提出的特征变换策略可以明显提高图像分类准确率，并且具备不错的推广性。

    Aug, 2021

  • 通过对比掩模预测进行自监督视觉表示学习

    本文提出了一种基于掩模对比学习（CMP）的自监督视觉表示法，利用区域级特征对比而不是视角层级特征对比，以消除隐式的语义一致性假设并实现正样本的无假设定位。使用专门的掩模预测头解决了掩模和非掩模特征之间的域差异，实验结果表明该方法在自然数据集上获得了可比较的性能，并且在大量下游任务上比 MoCo V2 表现更强。

    Aug, 2021