研究了深度神经网络的几何属性和数据表示的内在维度，发现最后一个隐藏层的内在维度预测测试集合的分类准确性，这证明了可以广泛应用的神经网络是将数据转换为低维非线性流形的网络。

May, 2019

本文探讨了深度学习在计算机视觉领域的成功是否源于自然图像数据低维结构的存在，研究表明自然图像数据集确实具有很低的内在维度，并且低维度数据集更容易被神经网络学习和泛化。同时提出了一种可以在生成对抗网络（GAN）生成的合成数据上验证维度估计工具的技术。

Apr, 2021

本文讨论了流形假设不适当地捕捉了图像数据中典型的低维结构。我们考虑流形联合假设，并在常用图像数据集上进行实证验证，发现观察到的数据在一个不相连的集合上。我们还发现，针对这种结构设计具有归纳偏置的模型可以提高分类和生成建模任务的性能。

Jul, 2022

通过信息几何技术，分析深度网络在训练过程中的预测轨迹，揭示了网络训练过程中探索了一个有效低维度流形，在预测空间中，不同架构、大小、训练优化方法、正则化技术、数据增强技术和权重初始化的网络都在同一个流形上，并研究了该流形的细节，发现不同的网络架构遵循可区分的轨迹，但其他因素影响较小；较大的网络沿着较小的网络相似的流形进行训练，而且更快速；初始化于预测空间不同部分的网络也沿着相似的流形收敛到解决方案。

May, 2023

本文提出了一种利用归纳偏置驱动的网络设计原则和基于层的流形正则化目标来实现神经网络学习过程中提高内存效率的框架，该框架的使用结果相对于传统学习技术具有更好的绝对性能和实证一般化误差，可以无缝地与现有的网络压缩方法相结合。

May, 2023

深度神经网络的泛化能力在参数空间的损失景观形状和特征空间（即单位活动的空间）的表示流形结构两个不同的方法中已经被研究，但很少一起研究并显式连接。我们提出了一个简单的分析，建立了它们之间的联系，并展示了表明在深度神经网络的学习的最后阶段，神经表示流形的体积压缩与参数优化过程中所探索的最小值周围的损失的平坦性相关的结果。

Oct, 2023

通过研究深度线性网络的中间特征，本文量化揭示了特征在层级表示中的演化规律，证明线性网络的每一层以几何速率压缩类内特征，与通过数据的层数线性关系的方式区分类间特征，这不仅在深度非线性网络中得到验证，而且在迁移学习中具有实际应用意义。

Nov, 2023

探索了机器学习方法背后的机制，利用内在维度与相关性之间的纠缠提出了一种度量标准，用于量化高维流形之间的相关性。验证了方法在合成数据上的优势和缺点，并在神经网络表示中将分析扩展到大规模应用，揭示了多模态数据的潜在表示之间明显的关联，而现有方法在检测相似性方面存在显著困难。研究结果表明了潜在流形之间高度非线性的相关性模式的存在。

Jun, 2024

本研究探讨了神经网络的隐藏表征内在维度在不同层次上的演变，揭示了自然影像与医学影像模型之间的显著差异。研究发现医学影像模型在网络较早阶段就达到内在维度的峰值，表明两类数据在特征抽象性上的不同，且这种峰值与输入数据的内在信息内容密切相关。这些发现为神经网络的学习特征如何受训练数据影响提供了新见解。

Aug, 2024

本研究解决了非线性流形数据集的内在维度提取问题，采用了正交条件的自编码器架构，能够有效获取解耦表示。同时，提出了一种基于微分几何的理论框架及相应的梯度下降优化算法。研究发现该方法在标准数据集上的表现优越，并具备针对局部群体作用构建坐标不变性的潜力。

Aug, 2024