从双曲几何回到词嵌入
本文提出了一种基于 delta-hyperbolicity 的方法,在超球面的笛卡尔积空间中嵌入词嵌入向量,在此基础上利用 Glove 算法学习无监督的词嵌入,并发现了这种嵌入方式相对于高斯词嵌入的几何意义,同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法,在各种任务上表现出色。
Oct, 2018
本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法,用于从德 - 英平行语料库中学习跨语言单词表示,并且实验证明通过保留潜在的层级信息,在超球面上的表示法可以提供更好的跨语言嵌入。
May, 2022
本文介绍了一种在超几何空间中学习自由文本词嵌入的算法,并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中,超几何词嵌入具有潜在优势,但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。
Aug, 2018
通过将符号数据嵌入超载空间(或更确切地说是 n 维庞加莱球)来学习符号数据的分层表示的方法,通过实验证明 Poincare 嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入,无论是在表示能力还是泛化能力方面。
May, 2017
本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度,以构建主题模型,并基于随机变分推理提出了一种高效的推断算法,实现了自然利用词嵌入的语义结构,同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。
Apr, 2016
本文提出了一个几何框架,用于学习来自不同嵌入源的单词元嵌入。该框架将嵌入转换为共同的潜空间,这使得对给定单词的不同嵌入进行简单平均更加易于处理。通过两种特定的几何变换(正交旋转和马氏度量缩放),得到了提出的潜空间。在几个单词相似性和类比测试中的实证结果说明了提出的框架的有效性。
Apr, 2020
本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入,这些嵌入似乎编码了层次结构的某些直觉概念,然而,由于隐含的连续层次结构,这种模型更难以研究其学习层次结构的内部机制。
Jun, 2018
该研究提出了一种嵌入树形数据结构的超 bolic embeddings 算法,无需优化即可实现任意低失真,同时提供了 h-MDS 方法来嵌入广泛的度量空间以及可处理不完整信息和可扩展的 PyTorch 实现。
Apr, 2018