IsoVec：控制词嵌入空间的相对同构性

EMNLPOct, 2022

IsoVec：控制词嵌入空间的相对同构性

IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces

Kelly Marchisio, Neha Verma, Kevin Duh, Philipp Koehn

TL;DR本文提出一种通过在 Skip-gram 损失函数中加入全局同构度量来提高单语词向量空间同构性的方法以改进词向量之间的跨语言映射，从而实现对通用数据条件下的双语词典诱导、领域不匹配和训练算法不匹配的提高。

Abstract

The ability to extract high-quality translation dictionaries from monolingual word embedding spaces depends critically on the geometric similarity of the spaces -- their degree of "isomorphism." We address the ro

translation dictionaries monolingual word embeddings isomorphism cross-lingual mapping bilingual lexicon induction

发现论文，激发创造

IsoScore: 量化嵌入空间利用均匀性

通过提出量化点云普遍利用环境向量空间程度的新工具 IsoScore，该文挑战了诸多基于 NLP 文献存在问题的指标的结论。

Aug, 2021

基于图的词向量空间相对同构

使用单语嵌入空间自动构建双语词典是机器翻译中的核心挑战，现有的尝试未能考虑语义相关词对于多个空间的相对同构性的影响。为解决这一问题，我们提出了 GRI，通过结合分布式训练目标和注意力图卷积来同时考虑语义相似词对于定义和计算多个空间的相对同构性所需的影响。实验评估表明，GRI 通过提高相对得分达到 63.6% 的平均 P@1 值优于现有研究。我们在此链接上发布了 GRI 的代码。

Oct, 2023

所有良好的词向量空间都同构吗？

研究跨语言字向量空间对齐的算法，证明非同构空间不一定是由于语言间的类型差异，而是受到单语资源的大小和单语训练的影响，尤其是训练不充分的影响。

Apr, 2020

在潜藏度量空间中学习多语言词向量：一种几何方法

本文提出了一种新的几何方法，通过单语嵌入和双语词典学习双语映射，并将其建模为平滑的黎曼流形上的优化问题，旨在解决双语词典感应和多语言学习中的问题。该方法分解了学习源语言到目标语言的变换，包括学习用于将语言特定的嵌入旋转到公共空间的旋转以及学习在公共空间中对嵌入之间相似性进行建模的相似性度量。结果表明，该方法在双语词典感应和跨语言词相似性任务上优于以前的方法，同时还将该框架推广到了多种语言的共同潜在空间表示上，展示了联合学习处理多语言问题的有效性。

Aug, 2018

分析跨语言词嵌入映射的限制

本研究探讨了跨语言词嵌入的离线和联合学习方法，并发现在并行语料库下，联合学习可以更准确地解决不同语言间的相似性问题，尤其在双语词典诱导方面表现更优。因此，建议在跨语言嵌入研究中加强联合学习的研究。

Jun, 2019

双语词典感应中的半监督非等距嵌入空间

该论文提出了一种半监督的双语词汇识别方法（BLISS），该方法使用了一个新的中枢过滤技术，可以放松两个嵌入空间同构假设，利用有限的对齐双语词汇表和更大的未对齐词汇表，实现了令人瞩目的效果。

Aug, 2019

超几何空间中的跨语言词嵌入

本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法，用于从德 - 英平行语料库中学习跨语言单词表示，并且实验证明通过保留潜在的层级信息，在超球面上的表示法可以提供更好的跨语言嵌入。

May, 2022

学习去除：面向各向同性的预训练 BERT 嵌入

研究表明预训练语言模型，如 BERT，在自然语言处理方面具有更广泛的应用价值。本文探究和分析预训练 BERT 嵌入的几何特征，提出一种基于可学习权重的简单而有效的方法，可以更好地处理向量的同一性问题，并在三项标准任务中获得较好的性能表现。

Apr, 2021

无监督的跨语言词向量空间转移

本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

Sep, 2018

离线双语词向量，正交变换与倒置的 softmax

本论文证明两个空间之间的线性转换应该是正交的，在此基础上提出了一种新型的反向 softmax 算法来确定翻译对，并使用此方法使得英语单词从 34% 的准确度提升到 43%，在无需专家双语信号的情况下达到 40%。最终，我们将这个方法扩展到从 200k 个意大利语句子语料库中检索英语句子的真实翻译，准确度达到 68%。

Feb, 2017