Oct, 2023

基于神经网络的度量流

PDF
TL;DR通过神经网络梯度下降在 Riemannian 度量空间中建立流的理论，以近似 Calabi-Yau 度量为动机，并且通过理解神经网络空间中的流进而实现。通过推导相应的度量流方程，我们发现其受到度量神经切向核的控制，这是一个在时间中演化的复杂的非局部对象。然而，许多体系结构可以进行无限宽度的极限，其中核固定且动力学简化。额外的假设可以引入流动的局部性，从而实现 Perelman 的 Ricci 流形式，该流形式曾被用于解决 3D Poincaré 猜想。我们将这些思想应用于数值 Calabi-Yau 度量，包括对特征学习重要性的讨论。
flowsriemannian metricsneural networksgradient descentcalabi-yau metrics
发现论文，激发创造
  • 黎曼连续归一化流

    本文提出 Riemannian 连续正规化流模型，通过设置连续性流作为常微分方程的解来定义流，其可以对光滑流形上的灵活概率测度进行有效参数化，在合成和现实数据方面与标准流或先前介绍的预测流相比可以显著提高表现。

    Jun, 2020

  • 学习深度线性神经网络：黎曼梯度流与全局极小值的收敛

    本文研究了与从数据中学习深度线性神经网络（其中激活函数为恒等映射）相关的梯度流的收敛性，结果表明梯度流总是收敛于潜在函数的临界点。

    Oct, 2019

  • 欧几里德、度量和 Wasserstein 梯度流：综述

    本文针对概率度量空间上基于 Wasserstein 距离的梯度流理论进行了阐述，涵盖了欧氏理论的一般化和 Jordan-Kinderleher-Otto 方案的详细描述，并介绍了其他梯度流 PDEs 和基于这些思想的数值方法，最后阐述了 Ambrosio、Gigli、Savar 和 Kuwada 和 Ohta 最新理论成果研究度量空间热流问题。

    Sep, 2016

  • 概率测度空间中的梯度流采样

    本文研究了基于梯度流的采样方法的设计要素，主要包括能量函数、度量、和用于算法推导的梯度流的数值近似。首先，我们展示了 Kullback-Leibler 散度作为能量函数的独特性质，即由它引导的梯度流与目标分布的标准化常数无关。其次，我们从不变性的角度研究了度量的选择，引入了一种放松的仿射不变性，构建了各种仿射不变的 Wasserstein 和 Stein 梯度流。最后，基于高斯近似的梯度流方法被提出，并与参数变分推断衍生的梯度方法建立了联系，理论和数值上研究了它们的收敛性。

    Oct, 2023

  • 神经网络的黎曼度量 I：前馈网络

    本文介绍了四种用于神经网络训练的算法，它们分别适用于不同的可扩展性限制。这些算法基于微分几何的理论，并基于自然梯度使用 Fisher 信息矩阵，或基于 Hessian 方法并缩小尺度以实现可扩展性，同时保持它们的一些关键数学性质。

    Mar, 2013

  • 机器学习 Calabi-Yau 度量

    该研究使用机器学习方法进行数值 Calabi-Yau 度量的寻找，结合曲线拟合与机器学习技术，相比于传统算法，在保持精度的情况下，将时间成本进一步缩减了一至两个数量级。

    Oct, 2019

  • 深度神经网络的奇异黎曼几何方法 I. 理论基础

    本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

    Dec, 2021

  • 神经网络的黎曼测度 II：循环网络和学习符号数据序列

    该研究使用黎曼度量上的梯度上升法作为 RNN 的训练程序，实现了对文本的结构的有效捕捉。

    Jun, 2013

  • 黎曼流形上的正规化流

    本文研究在黎曼流形上的密度估计问题，将微分几何中的同胚技术应用于投影密度到亚流形上的相关技术，广义化标准化流用于更一般的黎曼流形，并给出了具体的例子。

    Nov, 2016

  • 流形上的神经常微分方程

    本研究探讨如何使用向量场在光滑流形上进行参数化，以及如何进行梯度学习来实现基于神经 ODE 的流规范化方法。

    Jun, 2020