AAAINov, 2016

在 Grassmann 流形上构建深度神经网络

PDF
TL;DR本文提出了一种将欧几里得网络范例泛化到 Grassmann 流形的深度网络体系结构，利用完全秩映射层将输入数据转换为更理想的数据，利用再正则化层对结果矩阵进行规范化，利用投影映射层使结构数据进行更新，并在三个视觉识别任务中的评估显示出 Grassmann 网络具有明显优势。
grassmann manifoldsdeep learningnetwork architecturevisual recognitionstochastic gradient descent
发现论文，激发创造
  • 使用混合模型 CNN 对图和流形进行几何深度学习

    这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

    Nov, 2016

  • 在 Grassmann 流形上的字典异构学习和稀疏编码：一种外在解法

    本文提出了一种在非欧几里得空间上的稀疏字典学习算法，该算法通过将 Grassmann 流形嵌入到对称矩阵空间中来实现。在几种分类任务中，该算法较之目前最先进的方法如核仿射集算法和图嵌入 Grassmann 判别分析具有更好的识别精度。

    Oct, 2013

  • 使用深度神经网络学习不变的黎曼几何表征

    本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

    Aug, 2017

  • 矩阵流形神经网络 ++

    在 Riemann 流形上的深度神经网络已经在各个应用领域受到越来越多的关注，其中包括球面和双曲面流形上的 DNN 在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构，为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明，双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形，比如对称正定和 Grassmann 流形。基于这些工作，我们设计了用于对称正定流形上的全连接和卷积层，并在 Grassmann 投影视角上提出了一种使用 Grassmann 对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。

    May, 2024

  • 图神经网络与三维拓扑

    本研究测试应用几何深度学习到低维拓扑问题的效果，在一个简单的模型中，使用图神经网络来判断一对图是否给出同构三维多样体，通过监督学习和强化学习来训练和优化神经网络模型的准确率和效率。

    May, 2023

  • 对称正定矩阵流形上的统计递归模型

    本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

    May, 2018

  • 黎曼残差神经网络

    本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。

    Oct, 2023

  • 流形 GCN: 基于扩散的流形值图卷积神经网络

    基于黎曼流形的图神经网络模型中，我们提出了两个关键的图神经网络层。第一个是扩散层，其基于流形值图扩散方程，适用于任意数量节点和图的连通模式。第二个是切线多层感知机层，借鉴了向量神经元框架的思想，并在一般的情境中应用。这两个层在节点排列和特征流形的等变性方面表现出非常好的性能。在合成数据和海马右侧三角网格对阿尔茨海默病分类的数值实例中，我们的模型均取得了非常好的性能。

    Jan, 2024

  • 深度神经网络的奇异黎曼几何方法 I. 理论基础

    本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

    Dec, 2021

  • 跳跃流形：从运动中感知几何结构的密集非刚性结构

    通过利用高维 Grassmann 流形进行重建以及等效的低维表示进行推理聚类的算法，该研究提出了一种解决密集非刚性运动目标多帧图像 3D 形状估计的算法。

    Feb, 2019