Oct, 2018

Poincaré GloVe: 超球面词嵌入

PDF
TL;DR本文提出了一种基于 delta-hyperbolicity 的方法，在超球面的笛卡尔积空间中嵌入词嵌入向量，在此基础上利用 Glove 算法学习无监督的词嵌入，并发现了这种嵌入方式相对于高斯词嵌入的几何意义，同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法，在各种任务上表现出色。
word embeddingshyperbolic spacesgaussian word embeddingsriemannian manifoldsunsupervised learning
发现论文，激发创造
  • 无监督图学习中的非向量空间词嵌入

    本文介绍了一种用于学习单词表示的无监督图形表示方法，通过使用最短路径距离，将每个单词视为带权图中的节点，并表明比传统的向量表示方法更好地表现出单词的相似性和类比任务。

    Oct, 2020

  • 在双曲空间中的 Skip-gram 词向量嵌入

    本文介绍了一种在超几何空间中学习自由文本词嵌入的算法，并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中，超几何词嵌入具有潜在优势，但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。

    Aug, 2018

  • 超几何空间中的跨语言词嵌入

    本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法，用于从德 - 英平行语料库中学习跨语言单词表示，并且实验证明通过保留潜在的层级信息，在超球面上的表示法可以提供更好的跨语言嵌入。

    May, 2022

  • Poincaré 嵌入用于学习分层表达

    通过将符号数据嵌入超载空间（或更确切地说是 n 维庞加莱球）来学习符号数据的分层表示的方法，通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入，无论是在表示能力还是泛化能力方面。

    May, 2017

  • 双曲神经网络

    通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。

    May, 2018

  • 在双曲空间中嵌入文本

    本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入，这些嵌入似乎编码了层次结构的某些直觉概念，然而，由于隐含的连续层次结构，这种模型更难以研究其学习层次结构的内部机制。

    Jun, 2018

  • 利用矩阵流形推理单词嵌入中的语言规律

    本文介绍了一种基于 Grassmannian 的新方法，旨在通过建模单词集合所围成的子空间来捕获连续词向量表示中的类比关系，该方法利用测地核的修改余弦距离模型捕获跨单词类别的关系特定距离，实验结果表明与以前的方法相比，本方法在类比任务上表现显著改善。

    Jul, 2015

  • 超几何空间中图的神经嵌入

    通过在超宇宙中学习神经嵌入，可以在图结构数据中提高特征表达的性能，我们的实验证明了在自然几何形态下嵌入图可以显著提高多个实际数据集的性能。

    May, 2017

  • 学习几何词元嵌入

    本文提出了一个几何框架，用于学习来自不同嵌入源的单词元嵌入。该框架将嵌入转换为共同的潜空间，这使得对给定单词的不同嵌入进行简单平均更加易于处理。通过两种特定的几何变换（正交旋转和马氏度量缩放），得到了提出的潜空间。在几个单词相似性和类比测试中的实证结果说明了提出的框架的有效性。

    Apr, 2020

  • 向量空间中的层级：定向词和图嵌入

    本文介绍一种从无序平面嵌入空间中捕捉层次结构信息的数据结构算法，基于权威性分布的想法构建有向根树，用于识别单词的上位词关系和寻找共同祖先，同时在维基页面链接恢复方面表现出优异的性能。

    Nov, 2022