本文介绍了四种用于神经网络训练的算法，它们分别适用于不同的可扩展性限制。这些算法基于微分几何的理论，并基于自然梯度使用Fisher信息矩阵，或基于Hessian方法并缩小尺度以实现可扩展性，同时保持它们的一些关键数学性质。

Mar, 2013

本文结合奇异黎曼几何对深度神经网络进行了研究，提出了构建输入点等价类的方法，它为新合成数据的生成提供了途径，并能提供分类器误判原因的洞察。

Dec, 2021

本论文研究基于Riemannian几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其pullbacks在其他流形上生成了诱导偏度量空间的退化Riemann度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

Dec, 2021

该论文提出了一种在矩阵流形上构建神经网络的新模型和层，通过将陀螺向量空间的理论应用于SPD和Grassmann流形上，推广了一些概念，并以人体动作识别和知识图谱完成两个应用来展示其有效性。

May, 2023

本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。

Oct, 2023

该研究论文提出了在黎曼流形上进行等变消息传递的几何视角，利用坐标无关的特征场表示黎曼流形上的数值特征，并通过优化特征空间的度量来最优地保留主丛的原始度量，从而得到与向量丛相关的等变扩散过程，进而提出了一种新的等变图神经网络框架，推广了ACE和MACE框架到黎曼流形上的数据。

Oct, 2023

神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

Apr, 2024

通过对流形假设的研究，我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联；流形的有限曲率限制了学习问题的可解性，而数据流形的体积增加则会提高网络的可学习性。此外，我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。

Jun, 2024

应用信息几何框架研究人工神经网络（ANN）训练过程中的相变行为与过拟合之间的关联，通过研究ANN参数的概率分布，利用差分几何原理构建概率分布函数的黎曼流形，观察到ANN在训练过程中在流形上的运动发生相变，该相变与ANN模型的过拟合有数学上的相似性，为增强ANN的解释能力和可解释性提供了有用的工具。

Jun, 2024

本研究解决了在高维空间中理解实际数据分布的问题。提出了一种利用深度ReLU神经网络训练的分类器，构建数据的信息矩阵（DIM），从而揭示数据空间中的特征层叠结构。实验表明，该方法能有效用于知识转移，并在不同数据集间测量距离，具有重要的应用潜力。

Sep, 2024