Mar, 2024

理解和减轻有监督对比学习中的人工标注错误

PDF
TL;DR人工标注的视觉数据集中不可避免地包含一部分人为错误标签样本。我们的研究表明，人工标注错误不仅与合成标签错误有明显不同，而且对于监督对比学习 (SCL) 而言也具有独特的挑战。为了应对这个问题，我们引入了一种对人工标注错误具有鲁棒性的新型 SCL 目标函数，SCL-RHE。通过提供对人工标注错误的改进稳健性，我们证明 SCL-RHE 在各种视觉基准测试中始终优于最先进的表示学习和噪声缓解方法。
human-annotatedmislabelled examplessupervised contrastive learningscl-rheresilience against human-labelling errors
发现论文，激发创造
  • 揭示和克服监督对比学习中的标签噪音挑战

    我们提出了 D-SCL，这是一种新颖的去偏差的监督对比学习目标，旨在减少标记错误引入的偏差，并证明了 D-SCL 在各种视觉基准上稳定优于最先进的表示学习技术，提供了对标签错误的改进的鲁棒性。

    Nov, 2023

  • 对比学习的合成硬负样本

    本文提出了一种特征级方法，即采样合成难负样本用于对比学习（SSCL），以更有效地利用更难的负样本。该方法通过混合负样本生成更多且更难的负样本，然后通过控制锚定样本与其他负样本的对比度的方式进行采样，并且考虑到假负样本的可能性进一步消除了负样本。这种方法提高了不同图像数据集的分类性能，并可以轻松集成到现有方法中。

    Apr, 2023

  • 使用监督对比学习学习标签层次

    我们介绍了一种 Label-Aware SCL 方法，通过利用类别之间的相似性，将层次信息融入到 SCL 中，从而创建一个更结构化和具有辨别性的特征空间，实现了更好的文本分类性能。

    Jan, 2024

  • 预训练句子嵌入的相互强化框架

    本研究基于自监督对比学习方法，提出了一种名为 InfoCSE 的新型框架，用于解决手工数据注释不可靠的问题，通过迭代的自我监督和数据标注反馈，实现了句子表示模型和数据注释方法的相互协作，有效提高了自监督学习的效果。实验证明，该方法在三个基准数据集上取得了显著的改善。

    Feb, 2022

  • 混合阶 self-paced 策略课程学习用于全局病变检测

    本文提出一种新的混合阶段的自主课程学习（Mo-SCL）方法，通过集成不确定性和损失来更好地在线估计难度，并将易于和困难样本混合在同一个小批次中以适当地缓解困难样本的问题，在医学图像分析任务中（如通用病变检测）获得了成功。

    Feb, 2023

  • 大型预训练语言模型微调的多目标优化方法：监督对比学习

    将 SCL 问题描述为 RoBERTa 语言模型精调阶段的多目标优化问题，使用线性标量化方法和精确 Pareto 最优解法解决优化问题，在多个 GLUE 基准任务上，无需使用数据增强、存储器库或生成对抗性示例，找到了比竞争对比学习基线更好的学习策略。

    Sep, 2022

  • 使用软标签的合成样本减轻噪声监督

    通过使用混合模型从局部损失分布学习样本权重，我们提出了一种利用合成样本训练模型的框架来减轻噪音标签影响，并通过逐渐修正噪音标签估计软目标，得到了更为准确的近似真实标签和更加独立和清晰界定的聚类，实验证明我们的方法在两个基准数据集 (CIFAR-10 和 CIFAR-100) 及两个大规模真实世界数据集 (Clothing1M 和 Webvision) 上优于现有技术方法且具备可靠的学习表达能力。

    Jun, 2024

  • 对比学习提高模型在标签噪声下的鲁棒性

    本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题，通过代替分类交叉熵损失为适应标签噪声的损失函数，或者改变训练样本的权重来缓解标签噪声的影响，并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。

    Apr, 2021

  • 探究对比学习为何有益于提高对抗标签噪声的鲁棒性

    通过自监督对比学习，深度神经网络通过学习具有卓越的鲁棒性的表示矩阵来避免噪声标签造成的过拟合，并进一步证明通过对比学习预训练的深度神经网络具有低秩结构，这种结构可以帮助深度神经网络更好地适应噪声标签。

    Jan, 2022

  • 语义对比学习的深度聚类

    本文提出了一种语义对比学习的方法（SCL），将距离的聚类结构引入到无标注数据的特征空间中，并通过优化实例视觉相似性和聚类决策边界的一致性来推理出语义上的实体类别，以在发现未知类别决策边界方面具有显着优势。实验证明，SCL 在六个物体识别基准测试中优于最先进的对比学习和深度聚类方法，尤其是在更具挑战性的精细和较大的数据集上。

    Mar, 2021