- ICLR验证图像数据的流形并集假设
本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设，并在常用图像数据集上进行实证验证，发现观察到的数据在一个不相连的集合上。我们还发现，针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。
- 表达能力和学习能力：自监督学习评估的统一视角
本文研究了自监督学习（SSL）模型的表征质量，并提出了一种将表现力和可学习性作为评估依据的方法。 作者将内在维度（ID）用于评估表现力并引入了聚类可学习性（CL）来评估可学习性。作者发现，将 CL 和 ID 组合成单个预测器（CLID）比其 - 神经网络中的内在维数、持久同调和泛化
通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的 “持久同调维数” 来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化 - 内在维度解释语言模型微调的有效性
本文通过分析基于内在维度的微调现象，提出利用内在维度获取经验和理论直觉来解释当前预训练语言模型微调过程中的现象，然后通过实验证明了常规预训练模型具有极低的内在维度。最后，作者依靠低维任务表示和基于压缩的泛化界限将内在维度与泛化界限连接起来提 - AAAI缺失数据填补和传导学习的多项式矩阵补全
本文提出一种新方法，在低维数据内部的情况下，通过对基于多项式的生成的矩阵的秩进行最小化，使用内核技巧结合松弛约束的目标函数的新公式，快速恢复高秩或完全秩的矩阵中的缺失条目，并且这一方法在维度较高时具有很好的性能。
- 使用深层 ReLU 网络对低维流形上的非参数回归进行函数逼近和统计恢复
本文研究了在低维多條件上 H"{o} lder 函数的非参数回归问题，并使用深层 ReLU 网络实现，研究结果表明深层 ReLU 网络具有适应低维几何结构的能力，可快速收敛于数据固有维度，进而解决高维数据的低维几何结构问题。
- 利用 Fisher 可分析性估算大型生物数据集的有效维度
通过分析数据点的可分离性，我们测试了一种最近引入的维数估计器，该估计器在多个基准测试和真实生物数据集上具有与最先进的度量相竞争的性能，并允许在内在嵌入假设不成立的情况下估计内在维数。
- 估计卷积或循环神经网络所需的样本数量是多少？
本文研究了卷积神经网络和循环神经网络的样本复杂度，发现其样本复杂度随内在维度线性增长，但远小于全连接神经网络。研究方法包括本地经验分析和新的技术引理，希望能激发进一步理解卷积神经网络和循环神经网络的发展。
- ICLR客观景观的内在维度测量
本文研究神经网络的困难难度和最小描述长度，通过在一个较小的随机空间中训练网络，我们测量特定数据集上的内在维度，得出具有大不同规模的模型的数据集内在维度基本相同，以及压缩网络是可以实现的。
- 双层神经网络优化景观中的虚假峰谷
本文主要研究神经网络中存在的局部极小值问题。针对两层神经网络，定义了其固有维度，并证明了有限的固有维度保证了超参数化的模型不存在局部极小值，而无限的固有维度意味着在某些数据分布下必然存在局部极小值。此外，尽管在一般情况下可能存在局部极小值， - AAAIk-NN 回归的非渐进一致性统一速率
本文通过对 mild assumptions 的研究，提出了 k-NN 回归的高概率有限样本均匀一致收敛率，该率在对数因子下是最优的。本文还证明了 k-NN 回归可以自动适应未知的低内在维度。我们将 k-NN 回归应用到了从噪声观测值中估计 - 深度神经网络在纹理分类中的理论分析
本文研究了使用深度神经网络对纹理特征重要的图像数据集进行分类的方法，并通过定义手工特征提取的 VC 维来证明手工特征提取是降低异常误差率的有效工具，同时得出了卷积神经网络、Dropout 网络和 Dropconnect 网络的 VC 维上限 - 估计流形维度的最小极小率
本文研究了机器学习和计算几何中的一些问题，主要关注于如何准确估算支持概率分布的流型的内在维度，同时提出了相应的上下界极值估算公式。
- k-NN 回归适应局部内在维度
该研究论文表明，非参数回归器在数据的内在维度的影响下可适应高维数据，k-NN 回归也适应内在维度。这篇论文还证明了最小极限速率不依赖于度量空间或分布的特定选择，而是适用于任何度量空间和加倍度量。
- 向量量化的随机投影树
提出了一种简单且计算效率高的树形结构向量量化方案，与以往方法不同的是，其量化误差仅取决于数据分布的内在维度，而不是数据所处空间的表观维度。