研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

通过研究深度学习模型的架构和数据内在结构之间的关系，本文探讨了深度学习的理论基础，并通过实验和物理启发式玩具模型的结合，揭示了它们的内在工作原理，旨在填补理论与实践之间的鸿沟。

Oct, 2023

本文提出了一种新的视角 —— 通过研究训练样本的深度表示子空间的维数，来理解在具有大量错误类标的数据集上训练准确的深度神经网络（DNNs）的普适性。根据这一发现，作者开发了一种新的维度驱动型学习策略，该策略在训练过程中监测子空间的维度并相应地调整损失函数，实验证明该方法可以高度容忍大量含有错误标签的数据，并能有效学习捕捉数据分布的低维局部子空间。

Jun, 2018

本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

Apr, 2021

深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

Oct, 2023

该研究使用均场理论流形分析来分析来自大规模上下文嵌入模型的语言表示，发现在不同的模型家族中出现了语言流形的证据，尤其是在多义词和包含许多单词的词性类别中，此外，发现这些流形中的线性可分性的出现是由流形半径、维度和流形间相关性的共同减少所驱动的。

Jun, 2020

本文提出了一种新的方法，用于可视化和理解神经网络输出层之前的向量空间，旨在揭示分类任务下的深层特征向量属性，特别是过拟合现象在特征空间中的本质和其对进一步应用的负面影响，并对其进行了真实应用场景的评估，证明了其突出性能优势。

Jun, 2020

通过信息几何技术，分析深度网络在训练过程中的预测轨迹，揭示了网络训练过程中探索了一个有效低维度流形，在预测空间中，不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上，并研究了该流形的细节，发现不同的网络架构遵循可区分的轨迹，但其他因素影响较小；较大的网络沿着较小的网络相似的流形进行训练，而且更快速；初始化于预测空间不同部分的网络也沿着相似的流形收敛到解决方案。

May, 2023

本文研究了使用深度神经网络对纹理特征重要的图像数据集进行分类的方法，并通过定义手工特征提取的 VC 维来证明手工特征提取是降低异常误差率的有效工具，同时得出了卷积神经网络、Dropout 网络和 Dropconnect 网络的 VC 维上限以及它们异常误差率的关系。此外，本文还利用内在维度概念验证了基于纹理的数据集比手写数字或其他目标识别数据集本质上更高维，因此更难以被神经网络粉碎，同时还从 n 维流形中计算出样本数据的相对对比度随向量空间维度趋于无限大而消失的规律。

May, 2016

本文研究了图像表示的内在维度，提出了一种基于深度神经网络的非线性映射算法 DeepMDS，并通过图像匹配验证了其映射的正确性。实验结果表明，在 LFW、IJB-C 和 ImageNet-100 等基准数据集上，深度神经网络表示的内在维度显著低于环境特征的维数。

Mar, 2018