Dec, 2021

深度神经网络的奇异黎曼几何方法 I. 理论基础

PDF
TL;DR本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架
deep neural networksriemannian geometrymanifoldspseudometric spacekolmogorov quotient
发现论文，激发创造
  • 使用深度神经网络学习不变的黎曼几何表征

    本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

    Aug, 2017

  • 深度神经网络的奇异黎曼几何方法 III. 分段可微层与 $n$ 维类的随机漫步

    神经网络在生活中起着至关重要的作用，最现代的生成模型能够取得令人印象深刻的结果。本文将几何框架应用于研究神经网络，探讨卷积、残差和递归神经网络，以及非可微激活函数的情况，并通过图像分类和热力学问题的数值实验来说明研究结果。

    Apr, 2024

  • 黎曼残差神经网络

    本研究通过将残差神经网络（ResNet）推广至广义黎曼流形，从几何角度提供了一种方法，用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明，与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比，我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。

    Oct, 2023

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017

  • 一种奇异的黎曼几何方法来处理深度神经网络 II - 对 1 维等价类的重构

    本文结合奇异黎曼几何对深度神经网络进行了研究，提出了构建输入点等价类的方法，它为新合成数据的生成提供了途径，并能提供分类器误判原因的洞察。

    Dec, 2021

  • 数据分析中的对称黎曼几何回归

    该研究论文探讨了在低维非线性子空间中数据集存在的问题，通过对称黎曼几何设置的合理数据分析工具进行研究，提出利用微分同胚来引导深度学习构建适合数据分析的不同类型的拉回几何，并通过数值实验验证了理论预测。

    Mar, 2024

  • 对称正定矩阵流形上的统计递归模型

    本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

    May, 2018

  • 计算可行的黎曼流形用于图嵌入

    本研究探索了在借助矩阵流形学习和优化图嵌入的情况下，如何在曲线里曼尼流形中提高图像嵌入的表现。我们的实验结果证明，在各种衡量不同图形属性的指标基础上，我们通常优于基于超球体和椭球嵌入的欧几里得嵌入，从而为非欧几里得句子嵌入在机器学习流水线中的优势提供了新的证据。

    Feb, 2020

  • 使用混合模型 CNN 对图和流形进行几何深度学习

    这篇论文提出了一个以卷积神经网络为基础的统一框架，以推广 CNN 的应用领域到非欧几里得结构的数据，如图形和流形，并且发现这个框架可以在图像、图形和三维形状分析的标准测试中取得更好的性能。

    Nov, 2016

  • 在黎曼流形上等变传递神经网络的几何洞察

    该研究论文提出了在黎曼流形上进行等变消息传递的几何视角，利用坐标无关的特征场表示黎曼流形上的数值特征，并通过优化特征空间的度量来最优地保留主丛的原始度量，从而得到与向量丛相关的等变扩散过程，进而提出了一种新的等变图神经网络框架，推广了 ACE 和 MACE 框架到黎曼流形上的数据。

    Oct, 2023