该研究使用黎曼度量上的梯度上升法作为 RNN 的训练程序，实现了对文本的结构的有效捕捉。

Jun, 2013

通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。

Oct, 2023

本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

Dec, 2021

本文研究了与从数据中学习深度线性神经网络（其中激活函数为恒等映射）相关的梯度流的收敛性，结果表明梯度流总是收敛于潜在函数的临界点。

Oct, 2019

为了理解生物和人工神经网络的操作，研究者们需要一个标准化的工具集来量化其结构等因素对神经表征的影响，这篇论文提出了一族量化表征不同神经网络之间相似性的度量空间，利用这个框架使得神经网络表征可以整合进任意的机器学习方法中，然后利用大规模生物和深度学习数据集来验证这些方法，最终找出了神经表征之间与结构和性能之间的关系。

Oct, 2021

从不变性观点研究深度神经网络的几何和容量度量之间的关系，引入了具有期望不变性的 Fisher-Rao 范数作为新的容量概念，并发现了其分析特征和规范比较不等式，证明了其作为多种基于范数的复杂度度量的伞兵角色，讨论了引入新的度量方式对泛化误差的影响，使用 CIFAR-10 数据集的大量数值实验支持了理论分析的发现，研究的分析基于多层整流器网络局部导数的关键结构引理。

Nov, 2017

通过构建具有功能等效性的网络的路径连接集合，将神经网络的权重空间视为弯曲的黎曼流形并沿着功能不变路径将网络移动，同时寻找满足次要目标的网络，通过路径抽样算法，能够训练具有数百万权重参数的神经网络来学习一系列分类任务而不会损失性能，同时适应包括网络稀疏化，增量任务学习和增加对抗强度在内的次要目标。

Apr, 2022

研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。

Jul, 2015

通过实验结果，显示了使用准对角 Riemann 梯度下降法训练神经网络的效果优于随机梯度下降法，且需要的训练轮数和计算时间更少。

Feb, 2016

提出了一个关于递归神经网络在线训练的紧凑结构，其中根据多个标准对算法进行组织：过去与未来朝向，张量结构，随机与确定性，以及闭合形式与数值。测试在两个合成任务上的表现表明，表现根据标准聚集。

Jul, 2019