超几何空间中的跨语言词嵌入

May, 2022

Cross-lingual Word Embeddings in Hyperbolic Space

Chandni Saxena, Mudit Chaudhary, Helen Meng

TL;DR本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法，用于从德 - 英平行语料库中学习跨语言单词表示，并且实验证明通过保留潜在的层级信息，在超球面上的表示法可以提供更好的跨语言嵌入。

Abstract

cross-lingual word embeddings can be applied to several natural language processing applications across multiple languages. Unlike prior works that use word embeddings based on the Euclidean space, this short paper presents a simple and effective cross-lingual Word2Vec model that adapt

cross-lingual word embeddings poincaré ball model hyperbolic space unsupervised learning latent hierarchical information

发现论文，激发创造

在双曲空间中的 Skip-gram 词向量嵌入

本文介绍了一种在超几何空间中学习自由文本词嵌入的算法，并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中，超几何词嵌入具有潜在优势，但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。

Aug, 2018

在双曲空间中嵌入文本

本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入，这些嵌入似乎编码了层次结构的某些直觉概念，然而，由于隐含的连续层次结构，这种模型更难以研究其学习层次结构的内部机制。

Jun, 2018

超几何空间中图的神经嵌入

通过在超宇宙中学习神经嵌入，可以在图结构数据中提高特征表达的性能，我们的实验证明了在自然几何形态下嵌入图可以显著提高多个实际数据集的性能。

May, 2017

Poincaré GloVe: 超球面词嵌入

本文提出了一种基于 delta-hyperbolicity 的方法，在超球面的笛卡尔积空间中嵌入词嵌入向量，在此基础上利用 Glove 算法学习无监督的词嵌入，并发现了这种嵌入方式相对于高斯词嵌入的几何意义，同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法，在各种任务上表现出色。

Oct, 2018

无监督的跨语言词向量空间转移

本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

Sep, 2018

双曲神经网络

通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。

May, 2018

来自平行句子的稳健跨语言嵌入

提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

Dec, 2019

用于解决文本蕴含的双曲句子表示

利用 Poincare 球来嵌入句子，证明了超几何空间可以用于解决文本蕴含问题。使用四个数据集评估并与多个基准模型比较，结果表明我们在 SICK 数据集上表现最好，在 SNLI 数据集的蕴含任务的二分类版本中仅次于 Order Embeddings。

Jun, 2024

通过中间相遇提升跨语言词嵌入

本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

Aug, 2018

单语和跨语言元嵌入的共同语义空间

本文介绍了一种新的技术来创建单语和跨语言的元嵌入。通过使用多种技术、文本来源、知识库和语言创建的多个单词嵌入，使用线性变换和平均值将现有单词向量投射到公共语义空间，以保持原始嵌入的维度，并通过处理词汇表外的问题而不失去信息。经过广泛的实证评估，我们的技术在各种内在和外在的多语言评估方面表现出对以前工作的有效性，并获取了在语义文本相似性方面具有竞争力的结果，并在单词相似性和词性标注方面得到了最先进的性能（英文和西班牙文）。跨语言元嵌入还表现出优秀的跨语言转移学习能力，即我们可以利用资源丰富的语言中预训练的源嵌入来改进贫乏语言的单词表示。

Jan, 2020