使用深度神经网络学习不变的黎曼几何表征
本文介绍了一种基于Riemannian网络架构的SPD矩阵非线性学习方法,使用双线性映射层、特征值矫正层和特征值对数层,使用基于Stiefel流形的变体随机梯度下降法来训练此深度网络。实验证明,该网络简单易用,并在三个典型的视觉分类任务中优于现有的SPD矩阵学习和现有最先进的方法。
Aug, 2016
该研究旨在为卷积神经网络设计一种与坐标系选择无关的卷积算法,在非欧几里得流形上实现平移不变性的同时,阐明了基于纤维丛的坐标无关卷积算法在欧几里得流形、球面、和一般曲面上的应用。
Jun, 2021
本文结合奇异黎曼几何对深度神经网络进行了研究,提出了构建输入点等价类的方法,它为新合成数据的生成提供了途径,并能提供分类器误判原因的洞察。
Dec, 2021
本论文研究基于Riemannian几何的新方法,探索深度神经网络在流形之间的映射及其导致的结构,指出其pullbacks在其他流形上生成了诱导偏度量空间的退化Riemann度量,给出了这种映射的理论性质,并在实用神经网络中应用其几何框架
Dec, 2021
通过利用特殊结构(如Stiefel流形、simplectic Stiefel流形、Grassmann流形和simplectic Grassmann流形)对神经网络优化进行降维处理,成功地将Adam算法推广到了流形层面上,并将其用于训练转换器,可以有效地加速训练过程。
May, 2023
本研究通过将残差神经网络(ResNet)推广至广义黎曼流形,从几何角度提供了一种方法,用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明,与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比,我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。
Oct, 2023
神经网络在生活中起着至关重要的作用,最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络,探讨卷积、残差和递归神经网络,以及非可微激活函数的情况,并通过图像分类和热力学问题的数值实验来说明研究结果。
Apr, 2024
在Riemann流形上的深度神经网络已经在各个应用领域受到越来越多的关注,其中包括球面和双曲面流形上的DNN在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构,为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明,双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形,比如对称正定和Grassmann流形。基于这些工作,我们设计了用于对称正定流形上的全连接和卷积层,并在Grassmann投影视角上提出了一种使用Grassmann对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。
May, 2024
通过从黎曼几何学的角度对矩阵对数和幂进行全面和统一的理解,本文解释了矩阵函数在全局协方差汇聚中的工作机制,并通过理论分析和实证验证得出,矩阵函数的工作机制应归因于隐含尊重黎曼分类器的黎曼几何分类器。
Jul, 2024