深度生成模型的 Fisher 信息度量的近似方法用于异常检测

Mar, 2024

深度生成模型的 Fisher 信息度量的近似方法用于异常检测

Approximations to the Fisher Information Metric of Deep Generative Models for Out-Of-Distribution Detection

Sam Dauncey, Chris Holmes, Christopher Williams, Fabian Falck

TL;DR根据梯度的大小来检测离群数据的深度生成模型无偏方法表现优于典型性测试。

Abstract

likelihood-based deep generative models such as score-based diffusion models and variational autoencoders are state-of-the-art machine learning models approximating high-dimensional distributions of data such as images, text, or audio. One of many downstream tasks they can be naturally

likelihood-based deep generative models out-of-distribution detection fisher information matrix layer-wise gradient norms data representation invariance

发现论文，激发创造

低维度梯度有助于外部分布检测

通过对梯度信息进行线性降维，结合现有的检测评分函数，我们的方法在各种检测任务中展示了卓越的性能，例如在 ImageNet 基准测试中，我们的方法相较于当前最先进方法，在 95% 召回率时，假阳性率平均减少了 11.15%。

Oct, 2023

探测野外分布移变的梯度重要性

本文提出了一种名为 GradNorm 的基于梯度空间的方法，通过利用从梯度空间提取的信息来检测异常数据，可以降低平均误警率（FPR95）高达 16.33％，相对于现有最佳方法效果更好。

Oct, 2021

用于识别样本分布外点的似然比

研究讨论了关于基于基因组序列的细菌识别的 out-of-distribution (OOD) inputs 问题，提出了用于深度生成模型的似然比方法来纠正背景统计数据偏差，并在 genomics 数据集上进行了实验。结果表明，我们的方法在 OOD 检测方面取得了最好的性能，并且我们证明了该方法的广泛适用性。

Jun, 2019

梯度正则化的离群样本检测

利用损失函数的梯度信息进行训练，实现神经网络在离分布数据上的检测，并通过能量采样方法提高模型性能。

Apr, 2024

似然异常检测悖论的几何解释

概率估计的深度生成模型在处理复杂数据集时，尽管给较简单来源的数据分配了较高的概率值，但却没有生成这些数据，这个矛盾仍然没有得到解释，因此概率估计的 OOD 检测不可信。我们的研究观察到，当高概率区域中包含的概率质量最小时，这些区域将不会生成。我们通过本地内在维度估计方法解释了这种大密度但低概率质量的情况，并提出了一种基于预训练深度生成模型的概率和内在维度估计相结合的 OOD 检测方法，该方法适用于归一化流和基于得分的扩散模型，并在相同的深度生成模型架构上达到或超过了最先进的 OOD 检测基准结果。

Mar, 2024

深度神经网络中 Fisher 信息度量及其变体的病态谱

本文研究了 Fisher 信息矩阵以及其在深度神经网络中的特性，发现其存在尺度依赖性，具有病态的特征值谱，本研究提供了 FIM 和其变体的统一视角，以便更深入地理解大规模深度神经网络对学习的作用。

Oct, 2019

基于信息论的超出分布通用性的框架

在机器学习中，我们研究了离群分布的泛化问题，并提出了一个提供信息论泛化边界的通用框架，该框架自由地插值在积分概率度量和 f - 分布之间，并且自然地恢复了一些已知结果（包括 Wasserstein 和 KL 边界），同时产生了新的泛化边界。此外，我们还展示了该框架具有最佳传输解释。在两个具体的例子中评估时，所提出的边界要么在某些情况下严格改进了现有边界，要么恢复了现有离群分布的最佳边界。

Mar, 2024

利用基于似然的生成模型进行输入复杂度和越界检测

通过对输入数据复杂度的估计，提出了一种有效且无需参数的 OOD 分数，可以看作是一种类似于贝叶斯模型比较的似然比，用于检测和比较基于似然概率的生成模型中的异常输入数据。实验证明，该分数在各种数据集、模型和复杂度估计下具有相当的性能。

Sep, 2019

深度神经网络中费舍尔信息的普适统计：平均场方法

研究发现：在计算深度神经网络（DNNs）的特性时，用 Fisher 信息矩阵（FIM）是一个普遍存在的策略。我们使用随机权重和大宽度限制来研究 FIM 的渐近统计特性，并证明说大部分特征值接近于零，而其中的最大特征值则取一个巨大的值。此外，我们探讨了这些新的统计特征数字在学习策略中的潜在使用，即可以量化估算出适当的学习率和我们的广义能力测量的基础。

Jun, 2018

GradOrth: 基于梯度正交投影的简单且高效的外样本检测

我们提出了一种名为 GradOrth 的新方法，通过计算对于内分布数据重要的子空间上梯度投影的范数，从而识别出分布外数据。与现有方法相比，该简单而有效的方法在平均假阳率 95% 真阳率（FPR95）下的表现有显著提升，假阳率降低了高达 8%。

Aug, 2023