ICLRMar, 2024

一个针对 Riemannian Batch Normalization 的 Lie 群方法

PDF
TL;DR本文在李群上建立了一个统一的黎曼均值归一化 (RBN) 技术框架，理论上保证了控制黎曼均值和方差；在实验中，我们针对对称正定流形展示了该方法的有效性，应用于雷达识别、人类动作识别和脑电图分类。
manifold-valued measurementsdeep neural networksriemannian normalizationlie groupssymmetric positive definite manifolds
发现论文，激发创造
  • SPD 神经网络的黎曼批归一化

    本文介绍了一种基于 Riemann 流形的批量归一化算法，利用 Riemann 流形上的几何操作和结构化矩阵变换进行设计，提出了一种新的流形约束梯度下降算法，在三个不同的数据类型上进行实验证明其可以提高分类性能和鲁棒性。

    Sep, 2019

  • 基于黎曼几何的批归一化方法

    通过对 Batch Normalization 层中的权重向量空间进行 Riemannian 测量，从而提出了一种新学习规则，并利用几何特性进行了优化，成功地提高了在各种网络结构和数据集上的性能。

    Sep, 2017

  • 矩阵流形神经网络 ++

    在 Riemann 流形上的深度神经网络已经在各个应用领域受到越来越多的关注，其中包括球面和双曲面流形上的 DNN 在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构，为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明，双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形，比如对称正定和 Grassmann 流形。基于这些工作，我们设计了用于对称正定流形上的全连接和卷积层，并在 Grassmann 投影视角上提出了一种使用 Grassmann 对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。

    May, 2024

  • 深度神经网络的奇异黎曼几何方法 I. 理论基础

    本论文研究基于 Riemannian 几何的新方法，探索深度神经网络在流形之间的映射及其导致的结构，指出其 pullbacks 在其他流形上生成了诱导偏度量空间的退化 Riemann 度量，给出了这种映射的理论性质，并在实用神经网络中应用其几何框架

    Dec, 2021

  • 具高斯 RBF 核函数的黎曼流形上的核方法

    发展了利用核方法处理测地线非欧几里得空间数据的方法，具体地，提出了基于高斯径向基函数的正定核定义，用于将给定流形嵌入到高维再生核希尔伯特空间，同时该方法具有适用于计算机视觉的两种流形的正定核，并说明欧几里得空间中的支持向量机和主成分分析等算法可应用于测地线非欧几里得空间的数据中。

    Nov, 2014

  • 用扩张卷积神经网络处理序列流形值数据

    我们提出了一种使用精神病医学数据进行 Alzheimer 疾病组差异分析的卷积神经网络框架，并介绍了如何在计算过程中考虑 Riemann 流形结构。

    Oct, 2019

  • 对称正定矩阵黎曼流形上的核方法

    该文提出了一种针对 Riemann 流形的 SPD 矩阵进行高维映射的方法，使用一组可证明的正定核函数来扩展基于核方法的算法，进而在人行检测、物体分类、纹理分析、2D 运动分割以及扩散张量成像分割等问题上取得了良好的效果。

    Dec, 2014

  • 基于流形度量学习的领域自适应统一框架

    通过利用统计流形的曲率黎曼几何，我们提出了一种新的域自适应框架，该框架可以整合标记源域和未标记目标域之间的几何和统计差异，从而实现源到目标的转移。

    Apr, 2018

  • SPD 神经网络的黎曼多类逻辑回归

    该研究提出了利用 Riemannian 多分类逻辑回归（RMLR）框架进行 SPD 网络分类的方法，并测试了在广泛 SPD 学习基准测试中的表现。

    May, 2023

  • 从流形到流形：用于 SPD 矩阵的几何感知降维

    使用正定对称 (SPD) 矩阵表示图像和视频，并考虑到所得空间的里曼尼几何，已被证明在许多识别任务中有益。本文引入了一种方法来构建一个更具判别力的低维 SPD 流形以处理高维 SPD 矩阵，并将学习表述为 Grassmann 流形上的优化问题。实验表明，与现有技术相比，我们的方法可使分类准确性显著提高。

    Jul, 2014