使用投影范数预测分布外误差

Feb, 2022

Predicting Out-of-Distribution Error with the Projection Norm

Yaodong Yu, Zitong Yang, Alexander Wei, Yi Ma, Jacob Steinhardt

TL;DR提出一种名为 “Projection Norm” 的度量标准来预测模型在无标签真实标签的情况下对 ODD 数据的性能，这种方法使用伪标签来训练新的模型并与所谓的输入数据分布模型进行比较以进行预测。该方法在图像和文本分类任务以及不同网络架构上都优于现有方法，并且在理论上将该方法与超参数化线性模型的测试误差的界限相连。此外，发现 “Projection Norm” 是唯一实现对对抗性样本检测非平凡性能的方法。

Abstract

We propose a metric -- projection norm -- to predict a model's performance on out-of-distribution (OOD) data without access to ground truth labels. projection norm first uses model predictions to pseudo-label tes

projection norm out-of-distribution data pseudo-labels image and text classification adversarial examples

发现论文，激发创造

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

基于最后卷积层输出的高维特征子空间投影的异常检测

这篇论文集中在最后的卷积层输出的高维特征上，通过将这些高维特征投影到两个具体的特征子空间，借助网络的线性层的降维能力来识别产生在训练分布之外的数据，从而实现可靠的模式分类检测。我们的方法不需要输入预处理或特定的数据预调优，通过修改全连接层之前的批归一化和 ReLU 层，减小它们对输出特征分布的影响，扩大了 ID 和 OOD 数据特征之间的分布差距，并在多个基准数据集上进行了广泛实验，展示出最先进的性能。

May, 2024

鲁棒语言模型的伪 OOD 训练

本文提出 POORE - POsthoc pseudo-Ood REgularization 框架，通过在内部数据中生成伪 OOD 数据进行 fine-tune，通过引入新的正则化损失来分离 IND 和 OOD 数据的嵌入，提高了 OOD 预测任务的准确度，相较现有方法在三个实际对话系统上获得了最新的技术进展。

Oct, 2022

深度最近邻实现的超范围检测

本文研究使用非参数最近邻距离方法进行开放世界中一类重要任务：Out-of-distribution 检测，不同于先前的研究，该方法不施加任何分布假设，因此具有更强的灵活性和普适性，在多个基准测试中证明了其有效性，并且相对强基线的 Mahalanobis 距离方法，显著降低了 24.77% 误报率 (FPR@TPR95)。

Apr, 2022

可证明鲁棒性的无需付出昂贵代价的异常检测

研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现，深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器，并提供所有实验代码。

Jun, 2021

一种简单的测试时间方法用于识别非分布检测

本文提出了一种基于线性回归的测试时间训练方法，将输入图像的特征与其推断出的异常检测 (OOD) 分数进行配对，并在实现更精确的 OOD 检测上取得了很好的效果。

Jul, 2022

非参数异常合成

本文提出了一种基于非参数方法的异常检测框架，可在不依赖于高斯分布假设的情况下生成人工训练数据，从而有效地学习鲁棒的模型决策边界，并在超出分布的数据检测上表现出优越的性能。

Mar, 2023

离分布数据的价值

在本研究中，我们发现了一个反直觉的现象：在涉及目标任务的样本数量增加之前，由于少量的来自未知分布数据的样本，可以提高任务的泛化性能，但随着样本数量的增加，泛化误差达到阈值后会逐渐下降；我们采用合成数据集上的 Fisher's Linear Discriminant 和计算机视觉基准数据集（如 MNIST、CIFAR-10、CINIC-10、PACS 和 DomainNet）上的深度神经网络来证明这一现象；在我们知道哪些样本是未知分布的理想情况下，我们可以使用适当加权的目标和外部风险的目标函数来利用这些非单调趋势，但其实际效用有限，此外，当我们不知道哪些样本是未知分布时，数据增强、超参数优化和预训练等常用策略仍然无法保证目标泛化误差不会随着未知分布样本数量的增加而下降。

Aug, 2022

探测野外分布移变的梯度重要性

本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

Oct, 2021

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021