研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

Apr, 2021

本文提出了确定内在维度函数的计算方法，通过将数学测量集中现象公理地与内在维度联系起来，我们证明了其计算的可行性，并在模型中体现了复杂数据的几何特性，特别地，我们提出了一种将邻域信息纳入内在维度的主要方式，使得对常见图学习过程的新洞察成为可能。

Oct, 2022

本文通过分析基于内在维度的微调现象，提出利用内在维度获取经验和理论直觉来解释当前预训练语言模型微调过程中的现象，然后通过实验证明了常规预训练模型具有极低的内在维度。最后，作者依靠低维任务表示和基于压缩的泛化界限将内在维度与泛化界限连接起来提出其在预训练语言模型中的应用。

Dec, 2020

通过利用拓扑数据分析，我们建立了一个通用的计算工具，可以有效地计算深度神经网络的内在维度，从而预测其泛化错误。我们发现，误差可以用所谓的 “持久同调维数” 来等价限制，同时不需要对训练动力学进行任何额外的几何或统计假设，并且进一步提供可视化工具来帮助理解深度学习中的泛化。

Nov, 2021

该研究旨在探讨卷积神经网络（CNNs）在自动驾驶中目标检测方面的应用，以及数据的内在维度与不同层的精度关系。研究发现在特征提取过程中，正常数据与增强数据的表示存在差异。

Oct, 2022

本文研究了图像表示的内在维度，提出了一种基于深度神经网络的非线性映射算法 DeepMDS，并通过图像匹配验证了其映射的正确性。实验结果表明，在 LFW、IJB-C 和 ImageNet-100 等基准数据集上，深度神经网络表示的内在维度显著低于环境特征的维数。

Mar, 2018

在这项工作中，我们介绍了一种自动选择合适尺度的协议，该尺度能够使内在维度具有意义且有用，并且通过对人工和真实数据集的基准测试来证明了该程序的实用性和鲁棒性。

May, 2024

高维数据具有令人惊讶的特性：仅使用简单的线性分类器就可以高概率地将数据点配对分开，甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念，精确地捕捉了数据的可分离性质。对于这个内在维度，以上的经验法则成为一条规律：高内在维度保证了数据的高可分离性。我们将这个概念扩展为两个数据分布的相对内在维度，并证明它提供了成功学习和推广二元分类问题的概率的上下界。

Oct, 2023

构建公平的深度神经网络是实现可信的人工智能的关键步骤。深入研究影响深度神经网络公平性的因素是减轻模型偏见的基础，但目前的方法在准确预测深度神经网络偏见方面存在局限性，仅依赖于训练样本数量并缺乏更精确的测量工具。在这里，我们建立了一个几何学视角来分析深度神经网络的公平性，全面探索了深度神经网络内部如何塑造数据集的本质几何特征 - 感知流形的本质维度和维度对深度神经网络公平性的影响。基于多项发现，我们提出了内在维度正则化（IDR）的方法，通过促进学习简洁而平衡的类别感知流形，增强模型的公平性和性能。在各种图像识别基准测试中，IDR 显著减轻模型偏见并改善其性能。

Apr, 2024