本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入,这些嵌入似乎编码了层次结构的某些直觉概念,然而,由于隐含的连续层次结构,这种模型更难以研究其学习层次结构的内部机制。
Jun, 2018
通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合,我们提出了重要深度学习工具的超几何版本:多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明,即使超几何优化工具受限,超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于,要么与欧几里得变体相当。
May, 2018
通过在超宇宙中学习神经嵌入,可以在图结构数据中提高特征表达的性能,我们的实验证明了在自然几何形态下嵌入图可以显著提高多个实际数据集的性能。
May, 2017
最近在表示学习方面的研究表明,分层数据在双曲空间中能产生低维度和高信息量的表示。然而,即使双曲嵌入在图像识别方面引起了人们的关注,其优化过程容易遇到数值障碍。此外,与传统的欧几里德特征相比,目前尚不清楚哪些应用最能受益于双曲性所施加的隐式偏差。本文主要着眼于原型双曲神经网络,特别关注双曲嵌入在高维度情况下收敛于庞加莱球边界的倾向,以及这对少样本分类的影响。我们展示了最佳的少样本结果是通过在共同的双曲半径下得到的双曲嵌入得到的。与以往的基准结果相比,我们证明了无论嵌入维度如何,通过配备欧几里德度量的固定半径编码器都可以获得更好的性能。
Sep, 2023
通过将符号数据嵌入超载空间(或更确切地说是 n 维庞加莱球)来学习符号数据的分层表示的方法,通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入,无论是在表示能力还是泛化能力方面。
本文提供了关于在推荐系统中应该在什么情况下使用超半径空间和超半径嵌入的理论分析和实证结果,包括何种类型的模型和数据集更适合于超半径空间,以及选择哪个潜在空间大小,同时提出了一种名为 SCML 和其超半径版本 HSCML 的新的基于度量学习的推荐方法,并在不同的潜在空间模型中,包括通用项目推荐领域和社交推荐领域,以及 6 个广泛使用的数据集和不同的潜在空间大小上比较欧几里得空间和超半径空间的性能,通过将 HSCML 与其他基线方法进行比较,展示了超半径空间的最新性能。
May, 2021
本文介绍了一种在超几何空间中学习自由文本词嵌入的算法,并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中,超几何词嵌入具有潜在优势,但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。
Aug, 2018
本研究使用极坐标四叉树构建超几何嵌入的加速结构,相比现有方法在更短的时间内计算出类似质量的嵌入结果。
Jan, 2024
本文介绍了一种基于 Poincaré ball 模型的新型超似曲空间神经网络,该网络构建了多项式逻辑回归、全连接层、卷积层和注意机制,更高效地捕捉数据的分层结构,并在参数效率、稳定性和表现方面优于现有的超似曲组件及欧几里德同类模型。
Jun, 2020
本文提出一种新的图嵌入一般化误差的上限,它作为距离表示的函数集的局部 Rademacher 复杂度的评估。我们的上限是几何半径 $R$ 的多项式,可以最快达到 $O (rac {1}{S})$,其中 $S$ 是训练数据大小。
May, 2023