使用随机拉普拉斯特征在双曲空间中学习
通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合,我们提出了重要深度学习工具的超几何版本:多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明,即使超几何优化工具受限,超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于,要么与欧几里得变体相当。
May, 2018
本文提出了第一个归纳式的超几何图卷积神经网络 (HGCN),它利用了超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示,并说明了如何将欧几里得输入特征转换为具有不同可训练曲率的超几何嵌入。 实验证明,HGCN 学习到的嵌入保留了分层结构,并且与欧几里得模型相比,即使具有非常低的维度嵌入,也能获得更好的性能:在链路预测中,ROC AUC 误差降低最多为 63.1%,在节点分类中,F1 score 提高最多为 47.5%,也改善了 Pubmed 数据集的最新技术水平。
Oct, 2019
介绍了基于超伽马空间表示的图形学习的前沿技术,并重点介绍了超伽马浅层模型和超伽马神经网络技术以及其组件变体的技术细节,同时讨论了超伽马几何图形表示学习的进阶主题。
Nov, 2022
本文提出了一种新的可训练超几何卷积神经网络 HKConv,它在保持与置换等变和局部邻域平移不变性的同时,能够有效地按照超几何形状学习本地特征,尤其在层次或类似树状数据的嵌入方面表现出色。
Jun, 2023
本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络,该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制,更高效地捕捉数据的分层结构,并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。
Jun, 2020
本文提出了一种新的超半球几何图卷积神经网络(Lorentzian graph convolutional network,LGCN)来学习超半球几何中的节点特征,并在 6 个数据集上的实验表明,相比于现有的超半球几何图卷积神经网络方法,LGCN 在学习类似树形的图的表示时存在更低的畸变,并且有些超半球几何图卷积神经网络的性能使用本文所定义的图操作可以得到改进。
Apr, 2021
本文提出了一种基于洛仑兹模型的完全双曲框架,通过调整洛仑兹变换实现神经网络的基本操作,从而解决了现有双曲网络在欧几里德子空间进行操作的问题并证明了现有双曲网络的能力限制,实验结果展示了该方法在 NLP 任务中表现更优。
May, 2021
本文提出了一种名为 “超宾说外显”(HIE)的方法,通过使用节点到原点的超宾距离(即超宾范数)推导出的无成本分层信息来改进现有的超宾表示方法,并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。
Jun, 2023
最近在表示学习方面的研究表明,分层数据在双曲空间中能产生低维度和高信息量的表示。然而,即使双曲嵌入在图像识别方面引起了人们的关注,其优化过程容易遇到数值障碍。此外,与传统的欧几里德特征相比,目前尚不清楚哪些应用最能受益于双曲性所施加的隐式偏差。本文主要着眼于原型双曲神经网络,特别关注双曲嵌入在高维度情况下收敛于庞加莱球边界的倾向,以及这对少样本分类的影响。我们展示了最佳的少样本结果是通过在共同的双曲半径下得到的双曲嵌入得到的。与以往的基准结果相比,我们证明了无论嵌入维度如何,通过配备欧几里德度量的固定半径编码器都可以获得更好的性能。
Sep, 2023