Jan, 2024

维度感知的异常检测：理论与实验分析

PDF
TL;DR我们提出了一种非参数异常检测方法，该方法完全考虑了数据集中的局部内在维度变化。通过使用局部内在维度估计值的局部估计以理论上合理的方式，我们的维度感知异常检测方法 DAO 被推导为涉及查询点和随机选择的近邻之间的渐近本地期望密度比的估计器。通过对 800 多个合成和真实数据集的全面实验，我们表明 DAO 明显优于三个流行且重要的基准异常检测方法：局部异常因子（LOF），简化 LOF 和 kNN。
发现论文，激发创造
  • LIDL: 使用近似似然度量的局部内在维数估计

    提出了一种利用极大似然法进行局部内嵌维度估计的新方法，并成功地通过利用近期参数神经方法在似然估计方面的进展，解决了对高维数据进行非参数最近邻估计中出现的问题。

    Jun, 2022

  • 数据复杂性的几何视角：基于扩散模型的高效局部内部维度估计

    基于扩散模型的 Fokker-Planck 方程提供了一种解决现有方法缺陷的局部内在维度估计器 FLIPD，它兼容于各种流行的深度生成模型，并在局部内在维度估计基准测试中优于现有基线模型。

    Jun, 2024

  • 超越噪音：最佳邻域识别下的内在维数估计

    在这项工作中，我们介绍了一种自动选择合适尺度的协议，该尺度能够使内在维度具有意义且有用，并且通过对人工和真实数据集的基准测试来证明了该程序的实用性和鲁棒性。

    May, 2024

  • 基于维纳过程的局部内在维度估计方法视角

    本研究调查了最近最先进的参数化局部内在维度估计方法，从维纳过程的角度探讨了这些方法在其假设不满足时的行为，并给出了这些方法的扩展数学描述以及其误差与数据的概率密度函数之间的关系。

    Jun, 2024

  • 一个用于数据质量保证中的离群检测的新的统计度量

    使用深度学习技术进行特征表示，并开发一种新的统计测量方法进行 OOD 检测。研究通过与其他常见统计测量方法进行比较分析，验证了研究在 OOD 和 AIQM 研究中的可行性和有效性。

    Oct, 2023

  • 大规模几何学习的内在维度

    本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

    Oct, 2022

  • 利用 Fisher 可分析性估算大型生物数据集的有效维度

    通过分析数据点的可分离性，我们测试了一种最近引入的维数估计器，该估计器在多个基准测试和真实生物数据集上具有与最先进的度量相竞争的性能，并允许在内在嵌入假设不成立的情况下估计内在维数。

    Jan, 2019

  • 几何感知的内在维度最大似然估计

    本论文提出了一种名为 GeoMLE 的算法，通过回归标准 MLEs 实现对平坦流形的内在维度的显式计算，能够有效地处理非均匀采样的流形，并在不同的合成和真实数据集上实现了最先进的性能。

    Apr, 2019

  • 似然异常检测悖论的几何解释

    概率估计的深度生成模型在处理复杂数据集时，尽管给较简单来源的数据分配了较高的概率值，但却没有生成这些数据，这个矛盾仍然没有得到解释，因此概率估计的 OOD 检测不可信。我们的研究观察到，当高概率区域中包含的概率质量最小时，这些区域将不会生成。我们通过本地内在维度估计方法解释了这种大密度但低概率质量的情况，并提出了一种基于预训练深度生成模型的概率和内在维度估计相结合的 OOD 检测方法，该方法适用于归一化流和基于得分的扩散模型，并在相同的深度生成模型架构上达到或超过了最先进的 OOD 检测基准结果。

    Mar, 2024

  • 通过测量局部方向离散度的方法实现鲁棒高效的边界点检测

    提出了一种使用本地方向分散 (LoDD) 方法来检测边界点的鲁棒且高效的方法，该方法在非凸结构和高维流形中能够准确地识别边界点，并在多个数据集上展示了良好的聚类性能。

    Dec, 2023