May, 2018

双曲神经网络

PDF
TL;DR通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。
hyperbolic spacesneural networkspoincare modeldeep learningsequential data
发现论文，激发创造
  • 双加号双加号双曲神经网络 ++

    本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络，该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制，更高效地捕捉数据的分层结构，并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。

    Jun, 2020

  • 超几何图表征学习：教程

    介绍了基于超伽马空间表示的图形学习的前沿技术，并重点介绍了超伽马浅层模型和超伽马神经网络技术以及其组件变体的技术细节，同时讨论了超伽马几何图形表示学习的进阶主题。

    Nov, 2022

  • 超几何空间中图的神经嵌入

    通过在超宇宙中学习神经嵌入，可以在图结构数据中提高特征表达的性能，我们的实验证明了在自然几何形态下嵌入图可以显著提高多个实际数据集的性能。

    May, 2017

  • 双曲深度神经网络：一份调查

    本文介绍了超半径神经网络的模型以及各个组成部分，探究了其在超几何空间的深度学习方法、机器学习任务上的应用，提出了未来研究方向。

    Jan, 2021

  • 双曲线图神经网络：方法和应用综述

    本文对当前超伽马线图神经网络的技术细节进行了全面的回顾，并将它们统一到一个通用框架中，并总结了每个组件的变体和相关应用，并提出了一些挑战，可能为进一步发展超伽马线空间的图学习成果提供指导。

    Feb, 2022

  • 双曲卷积神经网络

    使用双曲空间构建泛化的超球面卷积神经网络，以捕捉数据中的层次结构和提高性能。

    Aug, 2023

  • 双曲曲率图神经网络

    本研究探索图形拓扑的离散曲率和嵌入空间的连续全局曲率的属性，提出了一种基于超边曲率感知的图神经网络（HCGNN），该网络利用离散曲率引导周围消息传递，并同时自适应调整连续曲率。在节点分类和链接预测任务上进行了广泛的实验，结果表明所提出的方法在高超曲线图数据和低超曲线图数据中均优于各种竞争模型。案例研究进一步证明了离散曲率在发现本地集群和缓解超曲线几何引起的畸变方面的有效性。

    Dec, 2022

  • 超几何与欧几里得嵌入在少样本学习中：同一硬币的两面

    最近在表示学习方面的研究表明，分层数据在双曲空间中能产生低维度和高信息量的表示。然而，即使双曲嵌入在图像识别方面引起了人们的关注，其优化过程容易遇到数值障碍。此外，与传统的欧几里德特征相比，目前尚不清楚哪些应用最能受益于双曲性所施加的隐式偏差。本文主要着眼于原型双曲神经网络，特别关注双曲嵌入在高维度情况下收敛于庞加莱球边界的倾向，以及这对少样本分类的影响。我们展示了最佳的少样本结果是通过在共同的双曲半径下得到的双曲嵌入得到的。与以往的基准结果相比，我们证明了无论嵌入维度如何，通过配备欧几里德度量的固定半径编码器都可以获得更好的性能。

    Sep, 2023

  • 完全双曲神经网络

    本文提出了一种基于洛仑兹模型的完全双曲框架，通过调整洛仑兹变换实现神经网络的基本操作，从而解决了现有双曲网络在欧几里德子空间进行操作的问题并证明了现有双曲网络的能力限制，实验结果展示了该方法在 NLP 任务中表现更优。

    May, 2021

  • 双曲图卷积神经网络

    本文提出了第一个归纳式的超几何图卷积神经网络 (HGCN)，它利用了超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示，并说明了如何将欧几里得输入特征转换为具有不同可训练曲率的超几何嵌入。 实验证明，HGCN 学习到的嵌入保留了分层结构，并且与欧几里得模型相比，即使具有非常低的维度嵌入，也能获得更好的性能：在链路预测中，ROC AUC 误差降低最多为 63.1％，在节点分类中，F1 score 提高最多为 47.5％，也改善了 Pubmed 数据集的最新技术水平。

    Oct, 2019