神经网络的黎曼测度 II：循环网络和学习符号数据序列
本文介绍了四种用于神经网络训练的算法，它们分别适用于不同的可扩展性限制。这些算法基于微分几何的理论，并基于自然梯度使用 Fisher 信息矩阵，或基于 Hessian 方法并缩小尺度以实现可扩展性，同时保持它们的一些关键数学性质。
Mar, 2013
本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。
May, 2018
本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。
Oct, 2023
神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。
Apr, 2024
本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架
Dec, 2021
提出了所谓的 MotifRGC 模型，该模型使用了 Motif-aware Riemannian generative-contrastive learning 方法，以捕捉构建出的曲率多重流形中的 Motif 规律，无需外部标签即可学习节点表示，并取得了良好的实证结果。
Jan, 2024
本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM 和 BRNN 等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。
May, 2015
通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。
Oct, 2023