Mar, 2023

畸变 - 解缠对比学习

PDF
TL;DR该研究提出了一种名为 DDCL 的新型 POCL 框架和 DDL 损失函数，可以显式地分离和利用模型和特征流中的畸变变量表示（DVR），从而提高了整体表示利用效率、鲁棒性和表示能力。通过在多个基准数据集上进行实验，表明我们的框架优于 Barlow Twins 和 Simsiam 在收敛性、表示质量和鲁棒性方面。
self-supervised learningpositive-pair-only contrastive learningdistortion-variant representationdisentangled lossbenchmark datasets
发现论文，激发创造
  • 解耦对比学习

    本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

    Oct, 2021

  • 带负采样校正的对比学习

    提出了一种名为 Positive-Unlabeled Contrastive Learning（PUCL）的新型对比学习方法，通过将负样本视为无标签样本，并利用正样本信息来修正对比损失，从而纠正了负采样偏差并提高了性能。

    Jan, 2024

  • 无监督句子表示的去偏置对比学习

    该研究提出了一种名为 DCLR 的新框架，使用实例加权的方法惩罚误判造成的假负样本，并产生基于噪声的负样本，以确保表示空间的均匀性，提高自监督学习中的句子表示质量，并在七个语义文本相似性任务中实现了显著性能提升。

    May, 2022

  • 自破坏式对比学习

    本文提出 Self-Damaging Contrastive Learning (SDCLR) 的概念，通过一个动态的自我竞争模型来平衡长尾数据的表示学习，以实现对无监督训练的快速部署。

    Jun, 2021

  • PCL: 多样增强的同行对比学习用于无监督句子嵌入

    本文提出了一种多增强策略下的同伴对照学习（PCL），以构造对比配对并构建无监督的句子嵌入，其表现优于其他与之竞争的句子嵌入方法。

    Jan, 2022

  • 揭示和克服监督对比学习中的标签噪音挑战

    我们提出了 D-SCL，这是一种新颖的去偏差的监督对比学习目标，旨在减少标记错误引入的偏差，并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术，提供了对标签错误的改进的鲁棒性。

    Nov, 2023

  • PiCO+：面向部分标签学习的对比标签消歧技术

    本文提出一个 PiCO 框架，包括对比学习模块和新型基于原型的标签消歧算法用于解决部分标签学习的问题。该框架可以对相同类别的样例进行紧密对齐并促进标签消歧，并在嘈杂的部分标签学习任务中表现出色，甚至可以与完全监督的学习相媲美。

    Jan, 2022

  • 长尾识别的解耦对比学习

    使用监督对比损失（SCL）方法进行视觉表示学习，在长尾识别场景下，通过解耦 SCL 的训练目标和使用基于图像补丁的自我蒸馏来优化性能，实验证明该方法在长尾分类基准上具有卓越的准确率，并与集合方法相结合进一步提高性能。

    Mar, 2024

  • 通用人脸伪造检测的对比学习

    文章提出了一种名为 Dual Contrastive Learning (DCL) 的新颖人脸伪造检测框架，该框架结合了硬样本选择策略和不同粒度的对比学习，并通过构建正负对数据从而学习通用特征表示。实验结果表明了我们方法的泛化性能超越了现有技术水平。

    Dec, 2021

  • PointACL: 对抗对比学习用于抵抗对抗攻击的鲁棒点云表征

    本文提出了一种新的方法，在对比学习框架中利用未投影特征表示进行虚拟对抗损失生成高质量 3D 对抗样本，提出了一个稳健感知损失函数来通过对抗方式训练自我监督对比学习框架，并发现使用 Difference of Normal（DoN）操作器选择高差异点作为对抗自我监督对比学习的额外输入，可以显著提高预训练模型的对抗鲁棒性。

    Sep, 2022