一种奇异的黎曼几何方法来处理深度神经网络 II - 对 1 维等价类的重构

Dec, 2021

一种奇异的黎曼几何方法来处理深度神经网络 II - 对 1 维等价类的重构

A singular Riemannian geometry approach to Deep Neural Networks II. Reconstruction of 1-D equivalence classes

Alessandro Benfenati, Alessio Marta

TL;DR本文结合奇异黎曼几何对深度神经网络进行了研究，提出了构建输入点等价类的方法，它为新合成数据的生成提供了途径，并能提供分类器误判原因的洞察。

Abstract

In a previous work, we proposed a geometric framework to study a deep neural network, seen as sequence of maps between manifolds, employing singular riemannian geometry. In this paper, we present an application of this framework, proposing a way to build the class of equivalence of an

neural networks riemannian geometry equivalence class synthetic data classifier

发现论文，激发创造

深度神经网络的奇异黎曼几何方法 I. 理论基础

本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

Dec, 2021

使用深度神经网络学习不变的黎曼几何表征

本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

Aug, 2017

深度神经网络的奇异黎曼几何方法 III. 分段可微层与 $n$ 维类的随机漫步

神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

Apr, 2024

黎曼残差神经网络

本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。

Oct, 2023

深度生成模型的黎曼几何

研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

Nov, 2017

对称正定矩阵流形上的统计递归模型

本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

May, 2018

在黎曼流形上等变传递神经网络的几何洞察

该研究论文提出了在黎曼流形上进行等变消息传递的几何视角，利用坐标无关的特征场表示黎曼流形上的数值特征，并通过优化特征空间的度量来最优地保留主丛的原始度量，从而得到与向量丛相关的等变扩散过程，进而提出了一种新的等变图神经网络框架，推广了 ACE 和 MACE 框架到黎曼流形上的数据。

Oct, 2023

神经表征的拓扑分类的秩分解

神经网络的拓扑结构及同调群，以及仿射映射与任务连续性的关系的研究。

Apr, 2024

非欧几里德通用逼近

通过对神经网络的输入层和输出层进行修改，在保持其基本架构能力的同时，实现了任意连续函数在相应连续紧致集上的均一逼近能力。此研究同时发现当输入输出空间为 Cartan-Hadamard 流形时，常用的非欧几里得回归模型可扩充至通用的深度神经网络，并且该扩充同样应用在用于分层学习的双曲线正切前馈网络上。

Jun, 2020

使用混合模型 CNN 对图和流形进行几何深度学习

这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

Nov, 2016