Jan, 2019

利用 Fisher 可分析性估算大型生物数据集的有效维度

PDF
TL;DR通过分析数据点的可分离性，我们测试了一种最近引入的维数估计器，该估计器在多个基准测试和真实生物数据集上具有与最先进的度量相竞争的性能，并允许在内在嵌入假设不成立的情况下估计内在维数。
发现论文，激发创造
  • 超越噪音：最佳邻域识别下的内在维数估计

    在这项工作中，我们介绍了一种自动选择合适尺度的协议，该尺度能够使内在维度具有意义且有用，并且通过对人工和真实数据集的基准测试来证明了该程序的实用性和鲁棒性。

    May, 2024

  • 基于测度集中的本地内在维度估计器

    本文介绍了基于线性可分性的本地 ID 估算器，并与其他利用测量集中各种效应引入的 ID 估算器进行比较并研究其属性。观察到的估算器之间的差异可用于预期它们在实际应用中的行为。

    Jan, 2020

  • 大规模几何学习的内在维度

    本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

    Oct, 2022

  • 相对内在维度与学习的内在性

    高维数据具有令人惊讶的特性：仅使用简单的线性分类器就可以高概率地将数据点配对分开，甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念，精确地捕捉了数据的可分离性质。对于这个内在维度，以上的经验法则成为一条规律：高内在维度保证了数据的高可分离性。我们将这个概念扩展为两个数据分布的相对内在维度，并证明它提供了成功学习和推广二元分类问题的概率的上下界。

    Oct, 2023

  • 潜在维度聚类

    本文提出了一种称为渐进聚类的新技术，它将每个数据点通过其潜在的点维度进行聚类，该点维度是与该点本地数据集的维度有关的尺度。这种渐进聚类技术可以广泛应用于各种数据集的分析中，并通过距离方法以点的第 n 个最近邻点来评估数据点的点维度，同时将其应用于动态系统、图像和人类动作等领域进行分析。

    May, 2018

  • 数据复杂性的几何视角：基于扩散模型的高效局部内部维度估计

    基于扩散模型的 Fokker-Planck 方程提供了一种解决现有方法缺陷的局部内在维度估计器 FLIPD，它兼容于各种流行的深度生成模型，并在局部内在维度估计基准测试中优于现有基线模型。

    Jun, 2024

  • 二进制数据的内在维度是多少？- 如何快速计算

    使用基于概念的内部维度对数据集进行分析和理解的研究，提出了一种基于计算概念的近似方法，通过计算某个支持值来评估内部维度，并使用 Tatti 等人的多个数据集进行验证。

    Apr, 2024

  • 使用特征退火独立规则进行高维分类

    该研究探讨了高维特征对分类准确性的影响，提出了一种名为 FAIR 的特征筛选方法，并利用两样本 t 检验的阈值确定关键特征选择的数量，实验证明其具有优越性。

    Jan, 2007

  • 用主成分分析估计数据的内在维度

    本文介绍了一种基于 PCA 的新方法，用于估计具有非线性结构的数据的内在维数，该方法利用整个数据集估计其内在维数，并方便增量学习。该方法使用数据的最小覆盖来处理数据集的非线性结构，并通过检查所有小邻域区域的数据方差来确定估计结果。实验结果表明，该方法可以过滤数据中的噪声，并在邻域区域大小增加时收敛到稳定的估计值。

    Feb, 2010

  • 几何感知的内在维度最大似然估计

    本论文提出了一种名为 GeoMLE 的算法，通过回归标准 MLEs 实现对平坦流形的内在维度的显式计算，能够有效地处理非均匀采样的流形，并在不同的合成和真实数据集上实现了最先进的性能。

    Apr, 2019