CVPRJun, 2022

重新思考对比学习中的增强模块：通过扩展视图学习层次化增强不变性

PDF
TL;DR本文介绍了一种利用对比学习中数据增强的方法来解决多个数据增强方法所带来的问题，该方法在不同深度上对不同的数据增强实现学习以及扩展对比内容以减少过多的数据增强对于下游任务带来的负面影响，通过实验证明了该方法可以有效学习与多个基准测试相关的更好的表示。
data augmentationcontrastive learningrepresentation learninginvariancedownstream tasks
发现论文，激发创造
  • 对比学习中不应该进行对比的内容

    本文提出了一种对比学习方法，该方法不需要先前知道特定于任务的不变性，使用多头网络构建不同的嵌入空间来捕捉可变及不变的因素 以提高视觉表示的效果，并发现不变空间和变化空间的连接在包括数据破坏等各种下游分类任务中表现最佳。

    Aug, 2020

  • 使用更强数据增强进行对比学习

    该研究提出了一种名为 Contrastive Learning with Stronger Augmentations（CLSA）的新的对比学习方法，利用数据扩增引入样本多样性，从而提高检索能力，实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。

    Apr, 2021

  • CoViews：利用合作视图进行自适应增强对比学习

    本文提出了一种学习高效自适应数据增强策略的对比学习框架，通过在训练过程中持续生成新的数据增强策略，无需任何监督，有效生成高质量的正负对，进而提升对比学习性能。实验证明，使用视图相关的增强策略训练优于使用所有视图共享的独立策略，在多个数据集和对比学习框架上验证了方法的一致优越性。

    May, 2024

  • MetAug：元特征增强的对比学习

    本文提出一种基于元学习和生成模型的对比学习方法，该方法通过针对性地增强有信息量的特征，避免无用特征的干扰，实现了在少量数据下学习鲁棒性强且表达能力强的特征表示。

    Mar, 2022

  • 理解对比学习需要融入归纳偏差

    本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

    Feb, 2022

  • 时间序列对比学习的参数增强

    通过分析时间序列数据增强使用信息理论，并总结最常采用的增强方法，我们提出了一种参数增强的对比学习框架 AutoTCL，它可以自适应地支持时间序列表示学习，无缝集成在不同的主干编码器中，实验证明在一元预测任务和分类任务中，我们的方法分别比领先的基准方法平均降低 6.5% 和 4.7% 的误差，并提高 1.2% 的平均准确率。

    Feb, 2024

  • 自适应增强的图形对比学习

    本文提出了一种新的自适应增强方法，通过设计基于节点中心性和节点属性的增强策略来保留图的内在结构和属性信息，并验证此方法在节点分类任务中优于现有方法和监督学习模型。

    Oct, 2020

  • 细心增广：对于组合问题的对比学习

    通过引入 label-preserving augmentations 和对 contrastive pre-training 进行科学研究，我们发现可以利用有标签的数据集中仅 1% 的数据就可以训练出与全监督学习具有可比性的表示方法，并且这些表示方法更易于从新领域中进行更大规模的推广应用。

    Feb, 2022

  • 半监督图分类的标签不变增强

    本研究探讨了图像对比学习在图像分类中的成功应用，并提出了一种适用于图结构数据的标签不变增强方法，旨在提高半监督学习的表现。该方法在表征空间中进行增强，仅在最困难的方向生成样本，并通过有效结合图像旋转、剪裁及翻转等形式进行实验验证。结果表明，该方法优于基于图神经网络和图对比学习的其他方法。

    May, 2022

  • 探索代码搜索中的表示层增广

    本研究提出了一种在表示级别进行数据增强的方法来提高代码搜索模型的性能，其中包括三种新的增强方法，并理论和实验评估了这些方法的优势。

    Oct, 2022