基于矩阵流形的神经网络构建:陀螺矢量空间方法
在 Riemann 流形上的深度神经网络已经在各个应用领域受到越来越多的关注,其中包括球面和双曲面流形上的 DNN 在计算机视觉和自然语言处理任务中的广泛应用。而球面和双曲面流形能够应用双翼运算和双翼向量空间的丰富代数结构,为成功的深度神经网络在这些流形上的推广提供了基础。最近的一些研究表明,双翼运算和双翼向量空间理论中的许多概念也能够推广到矩阵流形,比如对称正定和 Grassmann 流形。基于这些工作,我们设计了用于对称正定流形上的全连接和卷积层,并在 Grassmann 投影视角上提出了一种使用 Grassmann 对数映射进行反向传播的方法。我们在人类动作识别和节点分类任务中验证了这种方法的有效性。
May, 2024
使用对称正定矩阵(SPD)的 Riemannian 对称空间构建图神经网络以处理复杂图,并证明在结点和图分类任务上,其性能明显优于欧几里得空间和双曲空间及两者的笛卡尔积的图神经网络。
Jun, 2023
本文提出了在对称正定矩阵流形中使用向量值距离计算距离和提取几何信息,并开发陀螺矢量微积分,在该曲面上构建向量空间操作的类比。在知识图谱完成、项目推荐和问题回答等任务中,我们展示了这些操作的多样性。在实验中,SPD 模型优于欧几里德和双曲空间的等价物。向量值距离使我们能够可视化嵌入,展示模型学习从正样本中区分负样本的表示。
Oct, 2021
该文提出了一种针对 Riemann 流形的 SPD 矩阵进行高维映射的方法,使用一组可证明的正定核函数来扩展基于核方法的算法,进而在人行检测、物体分类、纹理分析、2D 运动分割以及扩散张量成像分割等问题上取得了良好的效果。
Dec, 2014
本文提出了适用于在流形上的矢量值信号的新型高斯过程模型,考虑了流形的几何特性,并展示了在二维球面和超平面上部署的 Hodge-Matérn 高斯矢量场以及离散二维网格和理想流形的推广方向。同时,证明了我们的高斯矢量场相较于之前提出的外部场具有更加精细的归纳偏差。
Oct, 2023
使用正定对称 (SPD) 矩阵表示图像和视频,并考虑到所得空间的里曼尼几何,已被证明在许多识别任务中有益。本文引入了一种方法来构建一个更具判别力的低维 SPD 流形以处理高维 SPD 矩阵,并将学习表述为 Grassmann 流形上的优化问题。实验表明,与现有技术相比,我们的方法可使分类准确性显著提高。
Jul, 2014
提出了一种基于高斯分布和李群、黎曼对称空间的新方法,可用于表示和分类二人互动的三维骨架序列,并在三个三维人体活动理解基准测试中取得了有竞争力的结果。
Nov, 2021
本篇论文介绍了如何通过构造一个低维对称正定矩阵流形来解决高度计算成本的难题,并进一步提出了一种处理高维对称正定矩阵的算法,以此来实现降维,最后在多个分类任务中验证了该方法的有效性。
May, 2016
本文提出了一种将欧几里得网络范例泛化到 Grassmann 流形的深度网络体系结构,利用完全秩映射层将输入数据转换为更理想的数据,利用再正则化层对结果矩阵进行规范化,利用投影映射层使结构数据进行更新,并在三个视觉识别任务中的评估显示出 Grassmann 网络具有明显优势。
Nov, 2016
本文提出了一种利用黎曼几何学习固定秩半正定矩阵流形的几何感知 SPD 相似性学习框架,通过在 PSD 流形中优化来学习具有判别性的 SPD 特征,优于现有的基于 SPD 的判别学习方法。
Aug, 2016