NADS: 基于神经体系结构分布搜索的不确定性感知

ICMLJun, 2020

NADS: 基于神经体系结构分布搜索的不确定性感知

NADS: Neural Architecture Distribution Search for Uncertainty Awareness

Randy Ardywibowo, Shahin Boluki, Xinyu Gong, Zhangyang Wang, Xiaoning Qian

TL;DR提出了神经结构分布搜索 (Neural Architecture Distribution Search，NADS) 的指导原则来设计确定性感知架构，优化了随机的 Out-of-Distribution 检测目标，并构建了模型集合来执行 OoD 检测，在 15 个不同的测试配置中相对于最先进的方法准确率的提高高达 57％。

Abstract

machine learning (ML) systems often encounter Out-of-Distribution (OoD) errors when dealing with testing data coming from a distribution different from training data. It becomes important for ML systems in critical applications to accurately quantify its →

machine learning out-of-distribution detection neural architecture search predictive uncertainty ensemble models

发现论文，激发创造

NAS-OoD: 面向外分布泛化的神经架构搜索

本文提出了针对 Out-of-Distribution 通用性的 NAS（NN 架构搜索）算法，通过数据生成器进行程度上相对稳健的搜索，并通过对不同神经架构计算出的损失最大化合成 Out-of-Distribution 数据来使神经架构与数据生成器在端到端方式下共同优化，实现了对于不同分布的稳健性和精度优化。在各种 Out-of-Distribution 通用性基准测试和行业实际数据集上均取得了良好的性能。

Sep, 2021

离群数据：对抗样本的熟悉 —— 综述

深度神经网络在现实应用中会遇到来自分布失真和对抗性攻击的数据，本综述聚焦于这两个领域的交叉研究，探讨如何通过鲁棒的分布失真检测和统一的鲁棒性进行对抗性攻击和对分布失真数据的健壮处理。

Apr, 2024

广义的异常检测：综述

本文首先提出一个通用的 OOD 检测框架，其中包括了另外四个相关问题的特例或子任务，然后重点回顾了这五个领域的最新技术发展，特别是 OOD 检测方法，并总结了开放的挑战和潜在的研究方向。

Oct, 2021

近似后验推断对贝叶斯深度学习在对抗和越界设置中的影响

本研究旨在探索深度学习模型的不确定性量化方法，并考虑基于贝叶斯推理的模型在 OoD 检测中的表现，结果显示在某些情况下，这种模型略高于传统的深度神经网络，对于对新输入的敏感性的原因进行研究，并对对抗噪声鲁棒性的影响进行了研究。

Sep, 2020

神经网络的鲁棒性外部分布检测

本文主要研究深度学习模型在检测 in-distribution 和 OOD inputs 时受到极小对抗扰动的影响，并提出了一种名为 ALOE 的有效算法，该算法通过将模型暴露于经过对抗训练的 inlier 和 outlier examples 中的方式，可以灵活地与现有方法相结合，提高现有的 Out-of-distribution detection 方法的鲁棒性，CIFAR-10 和 CIFAR-100 数据集的 AUROC 分别提高了 58.4% 和 46.59%。

Mar, 2020

通过学习本地对抗攻击进行语义分割中的异常检测

本文提出了一种名为 ObsNet 的 OOD 检测体系结构，通过基于局部对抗攻击（LAA）的专用训练方案，实现了在速度和精度方面得到表现的最佳方法，解决了当前方法在实际应用中速度和精度快慢两难的问题。

Aug, 2021

医疗领域的离群样本检测基准测试

本文定义三类 Out-of-Distribution Detection 的示例，并在医学图像的三个领域中对常见的方法进行基准测试。结果表明，尽管这些方法对某些类别的 OOB 样本产生良好结果，但它们未能识别接近训练数据分布的图像，作者发现简单的二元分类器在特征表示上具有最佳的平均精度和 AUPRC。

Jul, 2020

现代 UDA 算法中的超度现象

神经网络面对与其训练集不同的陌生数据时，存在域偏移的问题，现有的解决方法包括不加监督的域适应和确定性提取等，但它们往往会导致模型的过度确定性现象，本文提出了一种增加准确性并保证模型校准的不加监督域适应算法，适用于计算资源有限的环境。

Apr, 2024

基于假设驱动的深度学习进行外部分布检测

我们提出了一种基于假设的方法来确定新样本是属于训练集范围内还是超出范围，在黑盒系统中，通过深度神经网络 (DNN) 计算超出范围 (Out-of-Distribution, OoD) 的隐含回应，并将 OoD 检测问题形式化为不同组的隐含回应之间的假设检验。我们将这种方法应用于一个训练好的深度学习模型，用以检测未知的细菌样本，并展示了其在 InD 和 OoD 隐含回应之间揭示了可解释的差异。该方法对于系统性的新颖性检测和基于子标签训练的分类器的明智决策具有重要意义。

Mar, 2024

一种新颖的可解释的脉冲神经网络溯源检测方法

本文提出了一种新型的 OoD 检测器，采用脉冲数模式来表征神经网络中隐藏层的内部激活，以检测输入实例是否属于训练数据的分布，其性能与相关方案相比具有竞争力，并且能够生成符合预期的相关性说明图。

Sep, 2022