针对超出分布检测的可证明保障
本文回顾了最近关于 out-of-distribution 检测的进展,重点关注了自然语言处理方面的方法。通过分类和介绍数据集、应用和评估指标,总结了现有的研究,同时提出了未来的研究方向。
May, 2023
本文提出了一个更广泛的框架来研究模型针对特定因素(如未知类别、协变量变化等) 检测 out-of-distribution(OOD)问题,该框架能够检测出一个训练好的机器学习模型无法正确预测的测试样例,而是否拒绝该测试样例取决于模型本身,该文提供了大量分析和见解,用以改进和理解在不受控制的环境中的 OOD 检测。
Apr, 2023
研究使用机器学习技术的安全关键系统需要可靠的不确定性评估。本研究发现,深度神经网络在处理分布外数据时可能会产生过度自信的预测。本研究提出了一种具有保护分布外数据和高准确度的分类器,并提供所有实验代码。
Jun, 2021
本文提出了一个名为 OpenOOD 的统一的、结构化的代码库,该库实现了超过 30 种 ODD 检测方法,并在最近提出的一般化 OOD 检测框架下提供了全面的基准。作者通过对这些方法的全面比较发现,过去几年中,该领域取得了显著进展,其中预处理方法和正交后处理方法显示出很强的潜力。
Oct, 2022
通过广泛的实验,我们展示了当前的 ODD 检测器对于协变量转移比语义转移更为敏感,并且最新的 ODD 检测算法对于语义转移的检测效果微乎其微。我们的数据集和分析为指导未来的 ODD 检测器设计提供了重要见解。
Oct, 2023
本文旨在识别常见的目标,以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似,二进制区分器达到与异常暴露相似的 OOD 检测性能,还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数,从实践中发现,这些方法训练方式一致时都表现相似。
Jun, 2022
本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响,并提出了一种名为 ALOE 的有效算法,该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式,可以灵活地与现有方法相结合,提高现有的 Out-of-distribution detection 方法的鲁棒性,CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。
Mar, 2020
我们研究了在监督学习和无监督学习环境中在测试时高效检测超出分布(OOD)样本的问题。通过统计检测重新定义 OOD 问题,研究了在统计术语中使 OOD 问题可识别的条件,并在 Wasserstein 距离的基础上研究了 OOD 测试的收敛性保证,并提供了简单的实证评估。
May, 2024
不断进行未标注 OOD 检测的新设置,使用融合 Mahalanobis 距离和最近邻方法的 U-OOD 评分函数,并设计了一种置信度缩放的少样本 OOD 检测器,大幅改善相关领域的强基准模型。
Jun, 2024