大规模几何学习的内在维度

Oct, 2022

Intrinsic Dimension for Large-Scale Geometric Learning

Maximilian Stubbemann, Tom Hanika, Friedrich Martin Schneider

TL;DR本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

Abstract

The concept of dimension is essential to grasp the complexity of data. A naive approach to determine the dimension of a dataset is based on the number of attributes. More sophisticated methods derive a notion of

dimension intrinsic dimension concentration of measure graph data learning procedures

发现论文，激发创造

超越噪音：最佳邻域识别下的内在维数估计

在这项工作中，我们介绍了一种自动选择合适尺度的协议，该尺度能够使内在维度具有意义且有用，并且通过对人工和真实数据集的基准测试来证明了该程序的实用性和鲁棒性。

May, 2024

深度神经网络中数据表示的内在维度

研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

相对内在维度与学习的内在性

高维数据具有令人惊讶的特性：仅使用简单的线性分类器就可以高概率地将数据点配对分开，甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念，精确地捕捉了数据的可分离性质。对于这个内在维度，以上的经验法则成为一条规律：高内在维度保证了数据的高可分离性。我们将这个概念扩展为两个数据分布的相对内在维度，并证明它提供了成功学习和推广二元分类问题的概率的上下界。

Oct, 2023

基于测度集中的本地内在维度估计器

本文介绍了基于线性可分性的本地 ID 估算器，并与其他利用测量集中各种效应引入的 ID 估算器进行比较并研究其属性。观察到的估算器之间的差异可用于预期它们在实际应用中的行为。

Jan, 2020

二进制数据的内在维度是多少？- 如何快速计算

使用基于概念的内部维度对数据集进行分析和理解的研究，提出了一种基于计算概念的近似方法，通过计算某个支持值来评估内部维度，并使用 Tatti 等人的多个数据集进行验证。

Apr, 2024

利用 Fisher 可分析性估算大型生物数据集的有效维度

通过分析数据点的可分离性，我们测试了一种最近引入的维数估计器，该估计器在多个基准测试和真实生物数据集上具有与最先进的度量相竞争的性能，并允许在内在嵌入假设不成立的情况下估计内在维数。

Jan, 2019

神经网络中的内在维数、持久同调和泛化

通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的 “持久同调维数” 来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化工具来帮助理解深度学习中的泛化。

Nov, 2021

图像的内在维度及其对学习的影响

本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

Apr, 2021

几何感知的内在维度最大似然估计

本论文提出了一种名为 GeoMLE 的算法，通过回归标准 MLEs 实现对平坦流形的内在维度的显式计算，能够有效地处理非均匀采样的流形，并在不同的合成和真实数据集上实现了最先进的性能。

Apr, 2019

客观景观的内在维度测量

本文研究神经网络的困难难度和最小描述长度，通过在一个较小的随机空间中训练网络，我们测量特定数据集上的内在维度，得出具有大不同规模的模型的数据集内在维度基本相同，以及压缩网络是可以实现的。

Apr, 2018