ICLRSep, 2019

利用基于似然的生成模型进行输入复杂度和越界检测

PDF
TL;DR通过对输入数据复杂度的估计，提出了一种有效且无需参数的 OOD 分数，可以看作是一种类似于贝叶斯模型比较的似然比，用于检测和比较基于似然概率的生成模型中的异常输入数据。实验证明，该分数在各种数据集、模型和复杂度估计下具有相当的性能。
likelihood-based generative modelsout-of-distribution inputsinput complexityood scorebayesian model comparison
发现论文，激发创造
  • 用于识别样本分布外点的似然比

    研究讨论了关于基于基因组序列的细菌识别的 out-of-distribution (OOD) inputs 问题，提出了用于深度生成模型的似然比方法来纠正背景统计数据偏差，并在 genomics 数据集上进行了实验。结果表明，我们的方法在 OOD 检测方面取得了最好的性能，并且我们证明了该方法的广泛适用性。

    Jun, 2019

  • 似然异常检测悖论的几何解释

    概率估计的深度生成模型在处理复杂数据集时，尽管给较简单来源的数据分配了较高的概率值，但却没有生成这些数据，这个矛盾仍然没有得到解释，因此概率估计的 OOD 检测不可信。我们的研究观察到，当高概率区域中包含的概率质量最小时，这些区域将不会生成。我们通过本地内在维度估计方法解释了这种大密度但低概率质量的情况，并提出了一种基于预训练深度生成模型的概率和内在维度估计相结合的 OOD 检测方法，该方法适用于归一化流和基于得分的扩散模型，并在相同的深度生成模型架构上达到或超过了最先进的 OOD 检测基准结果。

    Mar, 2024

  • 基于去噪扩散概率模型的基于似然的异常检测

    我们提出了一种基于深度去噪扩散模型的离群检测方法，该方法利用了证据下界评估以构建复杂度修正似然比，其结果与基于生成模型的最新离群检测方法相比具有可比性。

    Oct, 2023

  • 使用深度生成模型理解异常检测的失败

    本研究证明无法保证模型在没有假设相关的未知分布情况下仍具备比随机猜测更好的性能，且模型误差是 OOD 检测失败的更可靠说明，而不是数据分布的可能性。

    Jul, 2021

  • 全面的 OOD 检测改进

    机器学习中，识别推理数据是否超出模型的预期输入分布对于给出预测的上下文至关重要。我们的研究针对基于表示或基于逻辑方法的超出分布检测方法，并提出了用于特征嵌入降维的表示方法和解决了一个问题的基于逻辑方法。我们在 OpenOODv1.5 基准框架上验证了我们方法的有效性，结果显示性能显著提升，并达到了最新的技术水平。

    Jan, 2024

  • 机器学习研究人员关于 OOD 检测的错误信念

    本文提出了一个 OOD 代理框架，统一了许多最近提出的基于似然比的方法，并指出似然比是一种原则性的 OOD 检测方法，而不是简单的方法修正。此外，还讨论了领域区分和语义之间的关系。

    Oct, 2022

  • 基于 OOD 训练数据的许多方法估计相同核心量的组合来分解 OD 检测

    本文旨在识别常见的目标，以及识别不同 OOD 检测方法的隐含评分函数。我们展示了许多方法在共享学习方式下表现相似，二进制区分器达到与异常暴露相似的 OOD 检测性能，还展示了置信度损失具有在理论上最优得分函数不同但与训练和测试 out-distribution 相同时的函数相似的隐含评分函数，从实践中发现，这些方法训练方式一致时都表现相似。

    Jun, 2022

  • 透过对于 Out-of-Distribution 检测的分析了解正态流的可能性和图像复杂度

    研究重点是解释深度生成模型中的异常现象机制，提出了 “图像复杂性” 的独立变量概念，并在实验中证明了该问题的有效缓解方法，并在另一个深度生成模型（PixelCNN++）中提供了其假设的潜在应用证据。

    Feb, 2024

  • 关于外分布泛化评估的调研

    机器学习模型在非独立同分布的数据分布下表现出可疑的风险，因此需要发展算法来评估和改善模型的泛化能力以及处理分布变化的能力。本文综述了现有的非独立同分布泛化评估的研究，将其划分为三个范式：非独立同分布性能测试、非独立同分布性能预测和非独立同分布内在特性表征，并简要讨论了预训练模型的非独立同分布评价。最后，提出了未来研究的几个有前景的方向。

    Mar, 2024

  • 无监督领域外检测的似然比和生成式分类器在任务导向型对话中的应用

    该研究探讨了利用似然比和生成分类器的方法在自然语言输入下实现任务导向对话系统的域外检测，并提出了一种利用生成分类器和边际似然值（比率）进行域外检测的方法。

    Dec, 2019