Oct, 2023

Pi-DUAL：利用特权信息区分干净和嘈杂标签

PDF
TL;DRPi-DUAL 是一种利用特权信息来减轻标签噪声的简单、可扩展和实用的方法，通过将输出的逻辑分解为基于传统输入特征的预测项和仅受特权信息影响的噪声适配项，Pi-DUAL 能够自适应地在这两个项之间切换焦点，从而使模型隐性地区分干净标签和错误标签的学习路径，实现了在关键特权信息基准上显著提高性能（例如，在 ImageNet-PI 上提高了 6.8% 的测试集准确率），此外，Pi-DUAL 也是一种在训练后识别嘈杂样本的有效方法，在这方面超过了其他强大的方法。
label noiseprivileged informationpi-dualoverfittingtest set accuracy
发现论文，激发创造
  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 学习中的确认偏见问题：以标签噪声为手段进行打击

    通过融合伪标记和置信度估计技术，Robust LR 方法成功地改善了数据标签噪声和确认偏差，并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。

    Dec, 2021

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 使用异方差 Dropout 的特权信息下深度学习

    通过使用特权信息控制不确定性，对卷积神经网络和循环神经网络进行了学习优化，提高了学习的样本效率，并在图像分类和机器翻译中进行了实验证明。

    May, 2018

  • 双重阻挠：利用迁移学习和随机化来阻止仅标签成员推导攻击

    使用 Transfer Learning（TL）和随机化相结合的 Double-Dip 方法，通过降低过拟合 DNN 对隐私攻击的脆弱性，显著提高非成员的分类准确性，以及减少标签推理攻击的成功率。

    Feb, 2024

  • 针对部分标签学习的有效视觉表征

    PaPi 是一种基于线性分类器和原型分类器的简单框架，用于处理部分标签学习任务，通过显式地鼓励表征反映类别间的视觉相似性，以在表示学习中提高性能并促进标签消歧，并已在各种图像分类任务中比其他 PLL 方法表现更优。

    May, 2023

  • 重新思考深度图像先验去噪

    通过有效自由度的分析和 “随机时间组合” 方法，我们扩展了 “深度图像先验” 的应用，特别针对去噪问题提出了优化的方案，在保留图像文本细节的同时，性能表现优于以前的方法。

    Aug, 2021

  • 从噪声数据中为深度学习优先选择信息丰富的特征和示例

    我们提出了一个系统性框架，通过优化有信息的特征和示例来增强开发过程的每个阶段，以解决真实世界应用中的嘈杂特征和示例。

    Feb, 2024

  • 从严重标签噪声中提炼有效的监督

    该论文提出了一种全新的训练深度神经网络的方法，在标签噪音的情况下拥有高稳健性，通过利用小的可信集合来估计样本权重和伪标签以重复使用它们进行监督训练。该方法在各种类型的标签噪声和大规模真实世界标签噪声数据集上取得了最新的最优表现。

    Oct, 2019

  • 重新思考图分类中噪声标签的影响：从实用性和隐私角度的观察

    基于消息传递机制的图神经网络在图分类任务中取得了先进的结果，然而，在训练数据中存在噪声标签时，它们的泛化性能会下降。本文从数据隐私和模型效用的角度来衡量噪声标签对图分类的影响，发现噪声标签会降低模型的泛化性能，并增强对图数据隐私的成员推理攻击能力。因此，我们提出了一种针对有噪声标签的图分类的鲁棒图神经网络方法。该方法通过高置信度样本和每个类别的第一个特征主成分向量精确过滤噪声样本，然后利用鲁棒主成分向量和数据增强下的模型输出来指导双重空间信息引导的噪声标签校正。最后，引入监督图对比学习来增强模型的嵌入质量并保护训练图数据的隐私。通过在八个真实图分类数据集上比较十二种不同方法，验证了所提方法的效用和隐私性，与最先进的方法相比，在 30% 的噪声标签比率下，RGLC 方法分别实现了最大 7.8% 和最小 0.8% 的性能提升，并将隐私攻击的准确率降低到 60% 以下。

    Jun, 2024