ICMLMay, 2019

使用弃权法解决深度学习中的标签噪声问题

PDF
TL;DR使用一种新的损失函数来训练深度神经网络进行分类并进行避免错标操作，使 DNN 在困惑的样本上避免误差，并在非避免的样本上继续学习和提高分类性能，并证明其在不同类型的标签噪声下的强大实用性
label noisedeep neural networksabstentionclassificationstructured label noise
发现论文，激发创造
  • 应对分布偏移鲁棒性的有效基线

    本研究通过在模型输入中添加专门的弃权类别，并在未经筛选的数据集中训练深度神经网络，建立有效分类器以识别无法归类的数据，并在图像和文本分类等领域上取得了良好表现。

    May, 2021

  • 通过不完美标注者进行主动学习

    研究活动学习的算法，其中标签器不仅可以返回不正确的标签，还可以放弃标记，利用放弃响应提出的算法在噪声和放弃率的自然假设下分析了其统计一致性和查询复杂度，并与下限相结合，证明在某些技术条件下，它实现了近乎最佳的查询复杂度 。

    Oct, 2016

  • 安全玩法：具备放弃选项的对抗性鲁棒性

    本文探讨了一种适用于分类器在对抗样本上放弃输出任何类别 (即通过放弃输出任何类别来实现对抗鲁棒性) 的情况下的对抗鲁棒性问题，提出了一种新的带有放弃选项的对抗鲁棒性目标函数，并提出了一个基于该目标函数的基准，最后提出了一种 Combined Abstention Robustness Learning (CARL) 方法来实现分类器及其应该放弃输出的输入空间的区域的联合学习。通过对 PGD 和 DeepFool 等攻击的评估，得出使用 CARL 训练的分类器比基准分类器更精确、更鲁棒、更有效。

    Nov, 2019

  • 基于理论基础的得分为基础的多类弃权的损失函数和算法

    通过引入新的代理损失函数，分析了多类别分类中学习与弃权的打分式公式，证明了这些代理损失函数的非渐近性和假设集特定一致性保证上界了弃权损失函数的估计误差，实验评估了新算法在几个数据集上的效果并展示了阶段性弃权算法的实际重要性。

    Oct, 2023

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 具有放弃反馈的贝叶斯主动学习

    本研究采用贝叶斯方法研究了具有放弃反馈的基于池的主动学习问题，提出了两种新的贪心算法，同时学习分类问题和未知的放弃率，证明了这两种算法均具有近似最优保证，并在各种实际情况下进行了实验验证。

    Jun, 2019

  • 深度学习下存在噪声标签的图像分类：综述

    本文介紹關於使用深度學習算法處理帶有噪聲標籤的問題，針對噪聲建立噪聲模型和使用魯棒損失、正則化等方法建立魯棒算法兩種子群進行了綜述。

    Dec, 2019

  • 预测者 - 排斥者多类弃权：理论分析与算法

    我们研究了多类别分类中的学习与弃权的关键框架，介绍了一系列新的理论和算法结果，提出了几个新的代理损失函数家族，并分析了单阶段和两阶段学习设置的保证和应用，证明了我们的代理损失的优越性，并展示了广泛适用的两阶段弃权算法的卓越性能。

    Oct, 2023

  • 通过弃权实现序列预测中的对抗韧性

    本研究提出一种介于纯随机和完全对抗的序列预测模型，可在不损失成本的情况下避免对注入干扰项的干净标签对抗（或超出分布）示例进行预测；同时使用 VC 维度来量化不确定性，且不需要访问条件分布。

    Jun, 2023

  • 通过自注意力和自监督学习实现对标签噪音容忍的医学图像分类

    本文发明了一种噪声鲁棒训练方法，以应对医学图像分类中不可避免的标签噪声问题，其中包括对比学习和组内注意力 mixup 策略，并通过严格实验验证表明，该方法能够有效地处理标签噪声，并优于现有方法。

    Jun, 2023