错误数据上的准确度：关于嘈杂数据对于超出分布泛化的陷阱

Jun, 2024

错误数据上的准确度：关于嘈杂数据对于超出分布泛化的陷阱

Accuracy on the wrong line: On the pitfalls of noisy data for out-of-distribution generalisation

Amartya Sanyal, Yaxi Hu, Yaodong Yu, Yian Ma, Yixin Wang...

TL;DR通过研究机器学习中的 “在线准确性” 现象，我们发现噪声数据和干扰特征会破坏准确性与超参数和数据配置之间的正相关关系，导致准确性与超参数和数据配置之间出现负相关关系。这种现象也可能出现在含有假特征的情况下，假特征会凸显出复杂信号特征，导致大量干扰特征空间。此外，将数据扩展到更大规模并不能减轻这种不良行为，甚至可能加剧它。我们通过线性分类模型在真实和合成数据集上进行验证，并对噪声数据和干扰特征的条件下的 Out-of-distribution (OOD) 错误证明了下界。

Abstract

"accuracy-on-the-line" is a widely observed phenomenon in machine learning, where a model's accuracy on in-distribution (ID) and

accuracy-on-the-line machine learning in-distribution out-of-distribution nuisance features

发现论文，激发创造

在变化分布下预测神经网络的性能

本文研究了神经网络分类器之间的一致性现象以及其与准确性的线性关系，提出了一种只利用无标签数据进行 ODA 预测的算法，并探讨了这种现象对于深度神经网络的新见解。

Jun, 2022

关于伪相关对于未知类别检测的影响

研究表明，在训练集中，假设特征和标签之间的虚假相关性增强，检测模型对于发现野外数据的能力会大幅降低。通过引入 “不变” 的特征来新定义和建模数据转移，提出了新的数据转移形式，并在此基础上深入探究了虚假相关在识别过程中的影响，同时提出了一种降低虚假相关影响的方法。

Sep, 2021

利用重要神经元进行线外检测 (LINe)

提出了一种新的基于神经元分析的方法，Leveraging Important Neurons (LINe)，通过使用 Shapley 值剪枝和激活截断等方法实现后置 OOD 检测。在 CIFAR-10，CIFAR-100 和 ImageNet 测试数据上，该方法表现出比其他现有后置 OOD 检测方法更高的有效性。

Mar, 2023

离分布数据的价值

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

在自然环境中训练 OOD 检测器

本文提出了一种基于野外混合数据的新颖框架，旨在改进在野外部署的机器学习模型的 OOD 检测能力，通过最大化 OOD 检测率并设定 ID 数据的分类误差和 ID 示例的 OOD 错误率的约束条件的学习目标，有效地解决了这个问题，并在常见的 OOD 检测任务中获得了优异的性能。

Feb, 2022

强健性到偶然相关性的提升改进了语义外分布检测

该论文提出了一种利用 Nuisance-Randomized Distillation 算法的 OOF 检测方法，通过替代使用经验风险最小化和交叉熵损失训练的分类器，实现独立于噪声值的特征表示，并成功解决了共享噪声错误检测的问题。

Feb, 2023

基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

Jun, 2022

机器学习研究人员关于 OOD 检测的错误信念

本文提出了一个 OOD 代理框架，统一了许多最近提出的基于似然比的方法，并指出似然比是一种原则性的 OOD 检测方法，而不是简单的方法修正。此外，还讨论了领域区分和语义之间的关系。

Oct, 2022

使用带外分布数据进行音频分类学习

本文探讨了监督式机器学习中标注错误的一种情况，即数据集受到了分布外的污染，我们提出的方法使用辅助分类器来检测和重新标注这些污染数据，并在 FSDnoisy18k 音频数据集上实验，结果表明该方法显著提高了卷积神经网络的性能，与其他噪声抗干扰技术的比较也是鼓舞人心的。

Feb, 2020