Oct, 2023

黎曼残差神经网络

PDF
TL;DR本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。
geometric deep learningriemannian manifoldsresidual neural networkvanishing gradient problemmanifold neural networks
发现论文，激发创造
  • 深度神经网络的奇异黎曼几何方法 I. 理论基础

    本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

    Dec, 2021

  • 使用深度神经网络学习不变的黎曼几何表征

    本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

    Aug, 2017

  • 对称正定矩阵流形上的统计递归模型

    本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

    May, 2018

  • 深度神经网络的奇异黎曼几何方法 III. 分段可微层与 $n$ 维类的随机漫步

    神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

    Apr, 2024

  • 神经网络的黎曼测度 II：循环网络和学习符号数据序列

    该研究使用黎曼度量上的梯度上升法作为 RNN 的训练程序，实现了对文本的结构的有效捕捉。

    Jun, 2013

  • 流形 GCN: 基于扩散的流形值图卷积神经网络

    基于黎曼流形的图神经网络模型中，我们提出了两个关键的图神经网络层。第一个是扩散层，其基于流形值图扩散方程，适用于任意数量节点和图的连通模式。第二个是切线多层感知机层，借鉴了向量神经元框架的思想，并在一般的情境中应用。这两个层在节点排列和特征流形的等变性方面表现出非常好的性能。在合成数据和海马右侧三角网格对阿尔茨海默病分类的数值实例中，我们的模型均取得了非常好的性能。

    Jan, 2024

  • 在 Grassmann 流形上构建深度神经网络

    本文提出了一种将欧几里得网络范例泛化到 Grassmann 流形的深度网络体系结构，利用完全秩映射层将输入数据转换为更理想的数据，利用再正则化层对结果矩阵进行规范化，利用投影映射层使结构数据进行更新，并在三个视觉识别任务中的评估显示出 Grassmann 网络具有明显优势。

    Nov, 2016

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017

  • 一种奇异的黎曼几何方法来处理深度神经网络 II - 对 1 维等价类的重构

    本文结合奇异黎曼几何对深度神经网络进行了研究，提出了构建输入点等价类的方法，它为新合成数据的生成提供了途径，并能提供分类器误判原因的洞察。

    Dec, 2021

  • 黎曼流形上的测地线卷积神经网络

    本文提出了一种称为 “测地线卷积神经网络”（GCNN）的新型神经网络，可用于处理形状相关的任务，例如形状描述，检索以及匹配。GCNN 使用局部极坐标系中的局部测地线系统提取 “补丁”，通过一系列过滤器和线性非线性算子，来学习不变的形状特征，从而获得最先进的性能。

    Jan, 2015