ICMLFeb, 2020

通过 Fréchet Mean 进行微分

PDF
TL;DR本文介绍如何在任意的 Riemann 流形中微分 Fréchet 平均值，并提出了一种快速，准确且无超参数的求解器，将 Fréchet 平均值完全集成到双曲神经网络中，并展示了两个案例：一个是将 Fréchet 平均值用于 Hyperbolic Graph Convolutional Network，另一个是开发一种双曲批量归一化方法。
deep representation learningriemannian manifoldsfréchet meanhyperbolic spaceneural networks
发现论文，激发创造
  • SurReal：复数深度学习的 Fréchet 均值和距离变换

    本文提出一种新的深度学习架构用于自然复数数据，并利用极径形式将每个样本视为复数空间中的一个领域，设计了一种基于 Riemannian 流形上加权 Frechet 平均的卷积算子和基于距离到 wFM 的全连接层算子，具有非零缩放和平面旋转下的自然等变性及后者的不变性，相较于基于实数神经网络的两通道实数表示法，我们的方法在 MSTAR 和 RadioML 复数数据集上均获得了出色的表现。

    Jun, 2019

  • 双曲空间中的梯度下降

    本研究展示了在利用双曲空间进行优化时，利用梯度下降的计算方法是直接的，并说明了采用该方法的优点和量化结果。

    May, 2018

  • 深度生成模型的黎曼几何

    研究了深度生成模型所学习的流形的黎曼几何，并提出了计算测地线和沿流形路径平行传递切向量的算法，发现这些模型学习的流形近似于零曲率，并探讨了这种现象的实际影响。

    Nov, 2017

  • 使用度量约束艾可纳尔方法计算流形上的距离和均值

    在这篇论文中，我们介绍了度量约束 Eikonal 求解器，用于在流形上获取连续、可微的距离函数的表示。这些可微的表示的特性使得在流形上直接计算全局长度最小路径成为可能。我们展示了在不同流形上使用度量约束 Eikonal 求解器的应用，并展示了应用的实例。首先，我们展示了如何使用度量约束 Eikonal 求解器在流形上获取 Fréchet 均值，并利用高斯混合模型的定义和解析解来验证数值结果。其次，我们展示了如何利用得到的距离函数在流形上进行无监督聚类，而现有方法在计算上具有很高的复杂度。这项工作为流形上的距离计算开辟了新的可能性。

    Apr, 2024

  • 随机矩阵理论改进的对称正定矩阵的弗雷歇均值

    使用随机矩阵理论的方法估计协方差矩阵中的 Fréchet 均值，在处理低样本支持和大量需要平均的矩阵时表现优于现有方法。

    May, 2024

  • 深度神经网络的奇异黎曼几何方法 I. 理论基础

    本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

    Dec, 2021

  • 使用深度神经网络学习不变的黎曼几何表征

    本文提出了一种面向流形训练深度神经网络的通用框架，利用切空间和指数映射，将最终输出元素在 Riemann 流形上的深度神经网络的训练问题转化为当前深度学习研究的问题，在多类图像分类和人脸图像回归上显示出改进后的性能。

    Aug, 2017

  • 对称正定矩阵流形上的统计递归模型

    本文研究了基于 Riemann 流形的时间序列测量数据的统计循环网络模型，通过有效算法和严格分析统计性质，证明了其与现有方法相比表现相当并参数更少，同时在大脑成像的统计分析任务中得到了应用。

    May, 2018

  • Wasserstein 空间中的 Fréchet 平均和 Procrustes 分析

    本研究探讨了函数数据分析和非欧几里得数据分析领域中的两个统计学问题：在多元分布的 Wasserstein 空间中确定 Fréchet 均值，以及畸变随机测量和点过程的最佳注册。研究表明，这两个问题在某种意义上是相互关联的，并通过利用 Wasserstein 空间的切向丛结构，通过梯度下降方法推导出了 Fréchet 均值，并表明这等效于 Procrustes 分析；然后构建了建模估计器，并证明了它们对总体平均值和总体 Procrustes 注册图的一致性。

    Jan, 2017

  • 极超伪双曲表示学习

    本文提出了一种基于常曲率伪黎曼流形的表示方法，适用于非欧几里德结构数据的机器学习。该方法的优化方法及应用于图表示的实验结果也被给出。

    Jul, 2020