具有标签蒸馏的对抗感知的部分标签学习

Apr, 2023

具有标签蒸馏的对抗感知的部分标签学习

Adversary-Aware Partial label learning with Label distillation

Cheng Chen, Yueming Lyu, Ivor W.Tsang

TL;DR提出了对手感知部分标签学习方法 (Adversary-Aware Partial Label Learning)，将对手标签引入候选标签集合，通过引入对手标签，分解 PLL 的预测分布，从而获得较低的不确定性，提高预测标签的可靠性。我们还提出了 ATM 算法以实现分类器和风险函数的一致性，并在 CIFAR10、CIFAR100 和 CUB200 数据集上展开了广泛的实验，表明我们的方法具有高度的鲁棒性。

Abstract

To ensure that the data collected from human subjects is entrusted with a secret, rival labels are introduced to conceal the information provided by the participants on purpose. The corresponding learning task can be formulated as a noisy partial-label learning problem. However, conventional partial-label learning (PLL) methods are still vulnerable to the hi

partial label learning adversary-aware learning noisy labels transition matrix adversarial teacher within momentum algorithm

发现论文，激发创造

与合作伙伴的部分标签学习

本文介绍了在部分标签学习中引入了一种新的合作分类器和 "相互监督" 范式，以帮助现有的部分标签学习方法识别和纠正错误标记的样本，并通过模糊机制来防止对特定标签的过度自信，从而显著提高了多种经典和基于深度学习的部分标签学习方法的性能和消歧能力。

Dec, 2023

互补分类器引导的部分标签学习

本文提出了一种基于对抗性学习与动态图的补充分类器方法，用于消除部分标签学习中假阳性标签的影响，并充分调查了补充标签集的有效性。实验表明，该方法在 4 个受控 UCI 数据集和 6 个真实世界数据集上具有优越性，并揭示了补充学习在部分标签学习中的实用性。

May, 2023

基于实例依赖的部分标签学习

本文提出了一种基于标签增强的偏标签学习方法，该方法针对实例相关性的标签进行了建模，并将标签分布作为标签增强过程的核心信息，以较高的精度训练了预测模型。

Oct, 2021

部分标签学习中真实标签的逐步识别

本文提出一种新颖的部分标签学习框架，通过提出一种新的分类风险估计器、分析分类器一致性和建立估计误差界限来解决现有方法面对大规模数据计算复杂度瓶颈的问题，并通过实验验证其成为业界新的标杆。

Feb, 2020

对抗式标签学习

该研究提出了一种弱监督方法 —— 敌对标签学习，通过对抗生成器为训练数据选择标签，以历经多个真实数据集的实验证明，在无监督的情况下训练分类器，并通过保护上面部分的误差率最小值以避免偏差和依赖性等问题，有助于有效提高训练效果。

May, 2018

PiCO+：面向部分标签学习的对比标签消歧技术

本文提出一个 PiCO 框架，包括对比学习模块和新型基于原型的标签消歧算法用于解决部分标签学习的问题。该框架可以对相同类别的样例进行紧密对齐并促进标签消歧，并在嘈杂的部分标签学习任务中表现出色，甚至可以与完全监督的学习相媲美。

Jan, 2022

通过自适应加权正则化和知识蒸馏增强低标签模式下的对抗鲁棒性

关键词：对抗鲁棒性、半监督对抗训练、有标签数据稀缺、正则化项、知识蒸馏。摘要：本文研究了对抗鲁棒性的半监督对抗训练，探究了稀缺有标签数据情况下的两个鲁棒风险上界，并提出了正则化项以应用于无标签数据，最后通过半监督教师模型的知识蒸馏结合提出的正则化项进行半监督对抗训练算法。实验证明，相较于现有算法，我们提出的算法在性能方面取得了显著的提升，并且即使有限的有标签数据量，我们的算法仍能与使用所有标签数据的监督对抗训练算法相媲美，无论是在标准准确率还是在鲁棒准确率上，比如我们的算法只使用 8％的有标签数据时，在 CIFAR-10 数据集上与监督对抗训练算法相比表现接近。

Aug, 2023

使用不可靠的教师进行可信对抗蒸馏

提出一种新的神经网络训练方法，叫做可靠的内省式敌对蒸馏（IAD），用于提高神经网络对抗攻击的能力。通过在不同情况下，对不同来源的标签进行部分可信任处理，以提高神经网络的稳定性。实验结果表明，IAD 在提高抗对抗性方面的效果显著。

Jun, 2021

重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用 Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由 Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对 AutoAttack 等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的 Robust Soft 标签的重要性提供了一组理解。

Aug, 2021

不确定性感知的部分标签学习

在真实应用中经常遇到标签模糊的数据，其中不同的标注者会给出冲突的类别标签。部分标签学习允许在这种弱监督的环境下训练分类器。虽然最先进的方法已经具有良好的预测性能，但它们经常受到错误校准的不确定性估计的影响。然而，拥有良好校准的不确定性估计在医学和自动驾驶等关键领域中尤为重要。本文中，我们提出了一种基于邻近 - 邻居的部分标签学习算法，利用了 Dempster-Shafer 理论。对人工和真实数据集的大量实验证明，所提出的方法提供了良好校准的不确定性估计，并取得了有竞争力的预测性能。此外，我们证明了我们的算法是风险一致的。

Feb, 2024