Jul, 2023

学习在噪声干扰下的一般性框架：标签干扰、属性干扰及其它

PDF
TL;DR本文通过马尔科夫核心框架对数据集水平下的数据污染模式进行了形式化分析，展示了标签和属性上存在复杂数据污染的影响，同时通过分析 Bayes 风险的变化，论述了这些污染对于标准监督学习的影响，为今后的定量比较提供了基础。
corruption modelssupervised learningmarkov kernelsbayes riskloss correction
发现论文，激发创造
  • 使用可信数据训练深度网络处理被严重噪声污染的标签

    本文提出了一种在深度神经网络分类器中使用有信任子集数据以及基于损失修正技术的方法，大大提高了分类器对标签噪声的鲁棒性。实验结果表明，该方法在视觉和自然语言处理任务中均取得了较好的性能表现。

    Feb, 2018

  • 计算机视觉模型对常见失真的鲁棒性：一项调查研究

    本文针对计算机视觉模型在实际应用中面临的常规污染问题进行了全面和系统的综述，介绍了不同类型的图像污染以及相关的评估指标和基准数据集，并对现有模型的基础污染鲁棒性进行了评估，以帮助选择适合特定计算机视觉任务的骨干网络。

    May, 2023

  • 通过过度参数化实现标签噪音下的稳健训练

    为解决对于干扰数据的过度拟合而影响泛化效果，我们提出了一种基于稀疏过参数化和隐式正则化的优化方案，通过对标签噪声进行建模和分离，实现了对于训练数据中的噪声数据清洗，最终获得了在多个真实数据集上较先进的测试结果，同时为优化过度参数化模型开辟了许多有趣的方向。

    Feb, 2022

  • 标签噪音校正对机器学习公正性影响的系统分析

    通过实证方法，我们评估了六种标签噪音修正方法在多个公正度度量标准上的表现，结果表明混合标签噪音修正方法在预测性能和公正度之间取得了最佳平衡，而基于聚类的修正方法可以最大程度地减少歧视但降低了预测性能。

    Jun, 2023

  • 环境扩散：从损坏的数据中学习干净的分布

    介绍了一种基于扩散的框架，可以使用高度损坏的样本学习未知分布，通过在扩散过程中引入附加的测量损坏，并要求模型从进一步损坏的图像中预测原始损坏的图像，来学习完整未损坏图像的条件期望。

    May, 2023

  • 扰乱批次数据以操纵隐马尔可夫模型推断

    时间序列模型在对数据流进行估计时通常假设数据没有被破坏。然而，本研究提供了一种新颖的概率视角，探讨了自私的对手如何通过破坏数据来操纵隐马尔可夫模型的推断，进而影响决策者的结论。研究中开发了一套考虑实际不确定性和不同攻击目标的数据破坏问题，提出了三种从频率主义和贝叶斯主义角度解决问题的方法，并通过大量经验测试证明了每种方法的有效性。该研究强调了隐马尔可夫模型在面对对手活动时的弱点，从而促使我们采取鲁棒化技术来保证其安全。

    Feb, 2024

  • 使用标签噪声学习具有鉴别性动态的噪声标签检测

    该论文提出了 DynaCor 框架，通过训练信号的动态来区分正确标记的实例和错误标记的实例，该框架在各种噪声类型和噪声率下显示出超越其他最先进方法的性能和强大的鲁棒性。

    May, 2024

  • 依赖于组的标签噪声下的公平分类

    研究了在训练标签被随机噪声污染和误差率依赖于保护子组的成员函数的情况下如何训练公平分类器，发现简单地强制使用人口统计差异措施达到平等，会降低分类器的准确性和公平性。通过使用指定的替代损失函数和替代约束条件对经验风险最小化进行优化可以减少标签噪声引起的问题。

    Oct, 2020

  • 数据损坏对自然语言理解模型的影响：对 GLUE 数据集的研究

    本论文针对自然语言理解研究的核心问题，以预训练语言模型为研究对象，通过对数据进行特定破坏转换使其变为无意义的句子，考察了在非意义上下文中该模型的判断能力，发现即便是在数据被破坏之后，该模型在大部分 GLUE 任务上的表现依旧保持较高水平，说明其在预测过程中利用了其他提示信息，同时引入了数据转换的概念，为评估模型语言理解能力提供了一种新方法。

    Jan, 2022

  • 探索深度神经网络的漏洞：参数破坏研究

    本文探讨了模型参数的脆弱性对于模型鲁棒性和泛化性的重要性，并提出了通过参数损坏来衡量神经网络参数鲁棒性的指标，并给出了一种梯度下降的估算方法，以提高训练效率。我们的研究得到理论和实证的支持，发现了深度神经网络的脆弱性，并提出了一种敌对损坏抗性训练的方法，可以提高模型的鲁棒性和预测准确率。

    Jun, 2020