在双曲空间中嵌入文本
本文介绍了一种在超几何空间中学习自由文本词嵌入的算法,并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中,超几何词嵌入具有潜在优势,但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。
Aug, 2018
通过将符号数据嵌入超载空间(或更确切地说是 n 维庞加莱球)来学习符号数据的分层表示的方法,通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入,无论是在表示能力还是泛化能力方面。
May, 2017
通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合,我们提出了重要深度学习工具的超几何版本:多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明,即使超几何优化工具受限,超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于,要么与欧几里得变体相当。
May, 2018
本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法,用于从德 - 英平行语料库中学习跨语言单词表示,并且实验证明通过保留潜在的层级信息,在超球面上的表示法可以提供更好的跨语言嵌入。
May, 2022
介绍了基于超伽马空间表示的图形学习的前沿技术,并重点介绍了超伽马浅层模型和超伽马神经网络技术以及其组件变体的技术细节,同时讨论了超伽马几何图形表示学习的进阶主题。
Nov, 2022
研究了使用超几何空间模型学习大型分类体系中的嵌入向量,其中 Lorentz 模型的效率高于 Poincaré-ball 模型,并发现该方法可以应用于发现公司组织结构和语言家族之间的历史关系。
Jun, 2018
本文针对数据具有分层结构的情况,提出了一个算法,通过对抗性示例注入的方式,有效地学习了一个能够在如下情况下使用的大边际超平面:数据具有分层结构,嵌入到双曲空间的性能不劣,且直接在双曲空间中学习分类器时的维度较低。
Apr, 2020
本研究利用深度神经网络欧几里得空间模拟文本分类效果有限,为了更准确地模拟树形层次化数据,我们提出了一种基于超伪距离实现的文本分类模型,称为 HyperText。实验证明,HyperText 在多项文本分类任务上的表现优于 FastText,并大量减少了参数量。
Oct, 2020
利用 Poincare 球来嵌入句子,证明了超几何空间可以用于解决文本蕴含问题。使用四个数据集评估并与多个基准模型比较,结果表明我们在 SICK 数据集上表现最好,在 SNLI 数据集的蕴含任务的二分类版本中仅次于 Order Embeddings。
Jun, 2024