矩阵流形神经网络 ++

May, 2024

Matrix Manifold Neural Networks++

Xuan Son Nguyen, Shuo Yang, Aymeric Histace

TL;DR在 Riemann 流形上的深度神经网络已经在各个应用领域受到越来越多的关注，其中包括球面和双曲面流形上的 DNN 在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构，为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明，双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形，比如对称正定和 Grassmann 流形。基于这些工作，我们设计了用于对称正定流形上的全连接和卷积层，并在 Grassmann 投影视角上提出了一种使用 Grassmann 对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。

Abstract

deep neural networks (DNNs) on riemannian manifolds have garnered increasing interest in various applied areas. For instance, DNNs on spherical and hyperbolic manifolds have been designed to solve a wide range of

deep neural networks riemannian manifolds spherical and hyperbolic manifolds gyrogroups and gyrovector spaces symmetric positive definite and grassmann manifolds

发现论文，激发创造

基于矩阵流形的神经网络构建：陀螺矢量空间方法

该论文提出了一种在矩阵流形上构建神经网络的新模型和层，通过将陀螺向量空间的理论应用于 SPD 和 Grassmann 流形上，推广了一些概念，并以人体动作识别和知识图谱完成两个应用来展示其有效性。

May, 2023

超越双曲线建模：对称正定矩阵中的图神经网络

使用对称正定矩阵（SPD）的 Riemannian 对称空间构建图神经网络以处理复杂图，并证明在结点和图分类任务上，其性能明显优于欧几里得空间和双曲空间及两者的笛卡尔积的图神经网络。

Jun, 2023

对称正定矩阵黎曼流形上的核方法

该文提出了一种针对 Riemann 流形的 SPD 矩阵进行高维映射的方法，使用一组可证明的正定核函数来扩展基于核方法的算法，进而在人行检测、物体分类、纹理分析、2D 运动分割以及扩散张量成像分割等问题上取得了良好的效果。

Dec, 2014

SPD 神经网络的黎曼批归一化

本文介绍了一种基于 Riemann 流形的批量归一化算法，利用 Riemann 流形上的几何操作和结构化矩阵变换进行设计，提出了一种新的流形约束梯度下降算法，在三个不同的数据类型上进行实验证明其可以提高分类性能和鲁棒性。

Sep, 2019

从流形到流形：用于 SPD 矩阵的几何感知降维

使用正定对称 (SPD) 矩阵表示图像和视频，并考虑到所得空间的里曼尼几何，已被证明在许多识别任务中有益。本文引入了一种方法来构建一个更具判别力的低维 SPD 流形以处理高维 SPD 矩阵，并将学习表述为 Grassmann 流形上的优化问题。实验表明，与现有技术相比，我们的方法可使分类准确性显著提高。

Jul, 2014

一种用于 SPD 矩阵学习的黎曼网络

本文介绍了一种基于 Riemannian 网络架构的 SPD 矩阵非线性学习方法，使用双线性映射层、特征值矫正层和特征值对数层，使用基于 Stiefel 流形的变体随机梯度下降法来训练此深度网络。实验证明，该网络简单易用，并在三个典型的视觉分类任务中优于现有的 SPD 矩阵学习和现有最先进的方法。

Aug, 2016

SPD 神经网络的黎曼多类逻辑回归

该研究提出了利用 Riemannian 多分类逻辑回归（RMLR）框架进行 SPD 网络分类的方法，并测试了在广泛 SPD 学习基准测试中的表现。

May, 2023

基于 SPD 流形的几何感知相似度学习在视觉识别中的应用

本文提出了一种利用黎曼几何学习固定秩半正定矩阵流形的几何感知 SPD 相似性学习框架，通过在 PSD 流形中优化来学习具有判别性的 SPD 特征，优于现有的基于 SPD 的判别学习方法。

Aug, 2016

在 Grassmann 流形上构建深度神经网络

本文提出了一种将欧几里得网络范例泛化到 Grassmann 流形的深度网络体系结构，利用完全秩映射层将输入数据转换为更理想的数据，利用再正则化层对结果矩阵进行规范化，利用投影映射层使结构数据进行更新，并在三个视觉识别任务中的评估显示出 Grassmann 网络具有明显优势。

Nov, 2016

一个针对 Riemannian Batch Normalization 的 Lie 群方法

本文在李群上建立了一个统一的黎曼均值归一化 (RBN) 技术框架，理论上保证了控制黎曼均值和方差；在实验中，我们针对对称正定流形展示了该方法的有效性，应用于雷达识别、人类动作识别和脑电图分类。

Mar, 2024