Feb, 2022

细心增广：对于组合问题的对比学习

PDF
TL;DR通过引入 label-preserving augmentations 和对 contrastive pre-training 进行科学研究，我们发现可以利用有标签的数据集中仅 1% 的数据就可以训练出与全监督学习具有可比性的表示方法，并且这些表示方法更易于从新领域中进行更大规模的推广应用。
supervised learningcontrastive pre-trainingcombinatorial problemslabel-preserving augmentationstest accuracy
发现论文，激发创造
  • 可微分数据增强用于对比句子表示学习

    本文提出了一种基于对比学习框架的预训练语言模型微调方法，通过硬样本挖掘和使用不同 iable 的数据扩增技术，达到了在无标记或有标记数据上提高句子表示质量的目的。实验证明，该方法在半监督和监督学习设置下都优于现有对比学习方法，并且对标注数据更加高效。

    Oct, 2022

  • 产品匹配的监督对比学习

    本文首次将有监督对比学习应用于电子商务中的产品匹配任务，使用来自不同电商的产品提供，通过对有标签的对比学习进行预训练，并提出了一种源感知采样策略，能够在训练数据不包含产品标识符的使用用例中使用对比学习，实验结果表明对比预训练与源感知采样相结合，可以显著提高多个广泛使用的基准测试性能，并在有明确监督的产品匹配用例中具有很高的潜力。

    Feb, 2022

  • 图形对比学习中的扩充：当前方法论缺陷和更好做法

    该论文介绍了使用对比学习（CL）进行无监督图表示学习的方法。作者通过探究使用域不可知图形扩充的高性能图像对比学习和 DAGAs 对图形对比学习的影响，提出了几个检查机制和设计任务感知扩充的策略，以提高模型的准确性。

    Nov, 2021

  • 对抗性对比学习实现的强健预训练

    本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

    Oct, 2020

  • 对事实对比学习的鲁棒表达：通过因果图像合成

    利用计数事实图像生成的最新进展，我们提出了 CF-SimCLR，一种反事实对比学习方法，利用近似的反事实推理用于正样本对的创建，在胸部放射学和乳房 X 线检查的五个数据集上进行综合评估，证明 CF-SimCLR 可以显著提高对获得偏移的稳健性，在内部和外部分布的数据上都能获得更高的下游性能，特别是对于在训练过程中少见的领域。

    Mar, 2024

  • 半监督图分类的标签不变增强

    本研究探讨了图像对比学习在图像分类中的成功应用，并提出了一种适用于图结构数据的标签不变增强方法，旨在提高半监督学习的表现。该方法在表征空间中进行增强，仅在最困难的方向生成样本，并通过有效结合图像旋转、剪裁及翻转等形式进行实验验证。结果表明，该方法优于基于图神经网络和图对比学习的其他方法。

    May, 2022

  • 理解对比学习需要融入归纳偏差

    本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

    Feb, 2022

  • 使用更强数据增强进行对比学习

    该研究提出了一种名为 Contrastive Learning with Stronger Augmentations（CLSA）的新的对比学习方法，利用数据扩增引入样本多样性，从而提高检索能力，实验结果表明该方法在 ImageNet 数据集上的表现接近有监督结果。

    Apr, 2021

  • 时间序列对比学习的参数增强

    通过分析时间序列数据增强使用信息理论，并总结最常采用的增强方法，我们提出了一种参数增强的对比学习框架 AutoTCL，它可以自适应地支持时间序列表示学习，无缝集成在不同的主干编码器中，实验证明在一元预测任务和分类任务中，我们的方法分别比领先的基准方法平均降低 6.5% 和 4.7% 的误差，并提高 1.2% 的平均准确率。

    Feb, 2024

  • 虚拟增强支持对比学习句子表示

    通过 VaSCL 提出了一种虚拟增强支持的对比学习方法， 解决了在自然语言处理中由于自然语言的离散性而无法运用通用规则进行数据增强， 从而获得了无监督句子表示学习的最新最佳表现。

    Oct, 2021