RMLR:将多项逻辑回归扩展到一般几何空间
本文介绍了一种基于Riemannian网络架构的SPD矩阵非线性学习方法,使用双线性映射层、特征值矫正层和特征值对数层,使用基于Stiefel流形的变体随机梯度下降法来训练此深度网络。实验证明,该网络简单易用,并在三个典型的视觉分类任务中优于现有的SPD矩阵学习和现有最先进的方法。
Aug, 2016
本文提出了一种面向流形训练深度神经网络的通用框架,利用切空间和指数映射,将最终输出元素在Riemann流形上的深度神经网络的训练问题转化为当前深度学习研究的问题,在多类图像分类和人脸图像回归上显示出改进后的性能。
Aug, 2017
介绍了geomstats这个python包,它支持处理多维流形,并提供多种Riemannian metrics以及keras深度学习框架等的实现,从而在机器学习中提供了一系列直观的损失函数选择。Paper还对机器学习中的流形进行了回顾,并对geomstats进行了概述,并通过展示使用geomstats实现基于Riemannian geometry的机器学习示例来演示其高效性和易用性。
May, 2018
本文介绍了一种基于 Riemann 流形的批量归一化算法,利用 Riemann 流形上的几何操作和结构化矩阵变换进行设计,提出了一种新的流形约束梯度下降算法,在三个不同的数据类型上进行实验证明其可以提高分类性能和鲁棒性。
Sep, 2019
该论文介绍了Geomstats,一种开放源代码的Python工具箱,用于在非线性流形上进行计算和统计学,其提供了可靠的可重用构件,适用于机器学习应用中的微分几何和统计学领域。
Apr, 2020
本研究通过将残差神经网络(ResNet)推广至广义黎曼流形,从几何角度提供了一种方法,用以解决在图结构和自然科学中遇到的具有层次结构或流形值数据的学习问题。实验结果表明,与已有的针对双曲空间和对称正定矩阵流形进行学习的流形神经网络相比,我们的黎曼流形残差神经网络在相关测试指标和训练动态方面都表现出更好的性能。
Oct, 2023
在Riemann流形上的深度神经网络已经在各个应用领域受到越来越多的关注,其中包括球面和双曲面流形上的DNN在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构,为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明,双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形,比如对称正定和Grassmann流形。基于这些工作,我们设计了用于对称正定流形上的全连接和卷积层,并在Grassmann投影视角上提出了一种使用Grassmann对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。
May, 2024
通过从黎曼几何学的角度对矩阵对数和幂进行全面和统一的理解,本文解释了矩阵函数在全局协方差汇聚中的工作机制,并通过理论分析和实证验证得出,矩阵函数的工作机制应归因于隐含尊重黎曼分类器的黎曼几何分类器。
Jul, 2024
本研究解决了现有多项式逻辑回归在黎曼流形上的适用性有限的问题。我们提出了一种仅需最小几何属性的黎曼多项式逻辑回归框架RMLR,展示了其在多个几何中的广泛适用性。实验证明,该框架在对称正定流形和特殊正交群中的有效性,具有显著的实际应用价值。
Sep, 2024