透过对于 Out-of-Distribution 检测的分析了解正态流的可能性和图像复杂度

AAAIFeb, 2024

透过对于 Out-of-Distribution 检测的分析了解正态流的可能性和图像复杂度

Understanding Likelihood of Normalizing Flow and Image Complexity through the Lens of Out-of-Distribution Detection

Genki Osada, Tsubasa Takahashi, Takashi Nishide

TL;DR研究重点是解释深度生成模型中的异常现象机制，提出了 “图像复杂性” 的独立变量概念，并在实验中证明了该问题的有效缓解方法，并在另一个深度生成模型（PixelCNN++）中提供了其假设的潜在应用证据。

Abstract

Out-of-distribution (OOD) detection is crucial to safety-critical machine learning applications and has been extensively studied. While recent studies have predominantly focused on classifier-based methods, research on deep generative model (DGM)-based methods have lagged relatively. This disparity may be attributed to a perplexing phenomenon: DGMs often ass

out-of-distribution detection deep generative model latent space normalizing flow image complexity

发现论文，激发创造

为何归一化流无法检测到超出分布范围的数据

本文探讨了正则化流在检测异常数据方面的性能问题，发现正则化流架构具有局部像素相关性和通用图像到潜空间转换的缺陷，并通过修改它的架构，使其更好地适应特定数据语义结构，进而提高检测性能。

Jun, 2020

使用深度生成模型理解异常检测的失败

本研究证明无法保证模型在没有假设相关的未知分布情况下仍具备比随机猜测更好的性能，且模型误差是 OOD 检测失败的更可靠说明，而不是数据分布的可能性。

Jul, 2021

似然异常检测悖论的几何解释

概率估计的深度生成模型在处理复杂数据集时，尽管给较简单来源的数据分配了较高的概率值，但却没有生成这些数据，这个矛盾仍然没有得到解释，因此概率估计的 OOD 检测不可信。我们的研究观察到，当高概率区域中包含的概率质量最小时，这些区域将不会生成。我们通过本地内在维度估计方法解释了这种大密度但低概率质量的情况，并提出了一种基于预训练深度生成模型的概率和内在维度估计相结合的 OOD 检测方法，该方法适用于归一化流和基于得分的扩散模型，并在相同的深度生成模型架构上达到或超过了最先进的 OOD 检测基准结果。

Mar, 2024

基于归一化流的特征密度估计用于异常检测

基于特征密度估计和正态流的无监督型外分布检测方法可应用于任意预训练模型，通过密度阈值实现检测，并在图像分类中表现出强大的远外分布数据检测结果，包括 ImageNet-1k 与纹理的 98.2% AUROC，超过现有技术 7.8%。我们还探讨了预训练模型的特征空间分布与我们方法性能之间的关联，并提供了应用正态流用于外分布检测时的训练陷阱。

Feb, 2024

关于概率图像建模的场外泛化问题

采用局部自回归模型提高了其对于 out-of-distribution 问题检测的性能，并且成功地构建了新的无损压缩算法 neural local lossless compressor (NeLLoC)，并且在压缩率和模型大小上达到了最佳性能。

Sep, 2021

利用基于似然的生成模型进行输入复杂度和越界检测

通过对输入数据复杂度的估计，提出了一种有效且无需参数的 OOD 分数，可以看作是一种类似于贝叶斯模型比较的似然比，用于检测和比较基于似然概率的生成模型中的异常输入数据。实验证明，该分数在各种数据集、模型和复杂度估计下具有相当的性能。

Sep, 2019

机器人学习中用于外部分布检测的拓扑匹配归一化流

为了在现实世界中实现可靠的自主机器人部署，对 Out-of-Distribution (OOD) 检测能力的需求很高。基于密度估计和归一化流的 OOD 检测是一种有效方法，但之前的工作尝试使用简单的基础分布拓扑地匹配复杂的目标分布，导致了不利的影响。本文通过使用一个具有表达力的类条件基础分布，基于信息论目标来匹配所需的拓扑结构，从而避免了这种拓扑不匹配问题。所提出的方法在不降低性能和最小化计算开销的同时，提高了 OOD 检测能力。我们在密度估计和 2D 对象检测基准测试中，与广泛的基线模型相比，展现了卓越的结果。此外，我们还展示了该方法在实际机器人部署中的适用性。

Nov, 2023

用于识别样本分布外点的似然比

研究讨论了关于基于基因组序列的细菌识别的 out-of-distribution (OOD) inputs 问题，提出了用于深度生成模型的似然比方法来纠正背景统计数据偏差，并在 genomics 数据集上进行了实验。结果表明，我们的方法在 OOD 检测方面取得了最好的性能，并且我们证明了该方法的广泛适用性。

Jun, 2019

针对超出分布检测的可证明保障

本文研究了如何检测机器学习模型移植到实际应用中可能出现的数据分布偏移，提出了一个以神经网络为基础的 OOD 检测方法，并结合理论与实验表现对其进行了分析与评估。

Dec, 2021

基于能量归一化流的语义分割并发误分类与未知数据检测

提出了使用正则化流（normalizing flow）结构的基于能量模型（energy-based model）的检测器 FlowEneDet，可以在不重新训练的情况下扩展早先投入使用的语义分割模型，并在 Cityscapes，Cityscapes-C，FishyScapes 及 SegmentMeIfYouCan 四个基准测试集上实现了良好的检测成果。

May, 2023