Trans-gram，快速跨语言词向量

EMNLPJan, 2016

Trans-gram, Fast Cross-lingual Word-embeddings

Jocelyn Coulmance, Jean-Marc Marty, Guillaume Wenzek, Amine Benhalloum

TL;DRTrans-gram 是一种简单且计算效率高的多语言学习方法，使用仅有的各种语言的单语数据和较小的句子对齐数据，同时学习和对齐单词嵌入表示。该方法使用英语作为轴心语言，计算出 21 种语言的对齐单词嵌入表示，通过该方法实现了跨语言文本分类和单词翻译任务的最先进结果。

Abstract

We introduce trans-gram, a simple and computationally-efficient method to simultaneously learn and align wordembeddings for a variety of languages, using only monolingual data and a smaller set of sentence-aligned data. We use our new method to compute aligned wordembeddings for twenty

trans-gram word embeddings multilingual learning cross-lingual text classification word translation

发现论文，激发创造

跨语言知识对齐的多语言知识图谱嵌入

本文提出了一种基于翻译模型的多语言知识图谱嵌入方法 MTransE 来实现跨语言的知识对齐，并采用不同的转化技术和损失函数来生成五种模型，实验证明该方法在跨语言实体匹配和三元组对齐方面取得了很好的效果。

Nov, 2016

来自平行句子的稳健跨语言嵌入

提出一种基于双语 CBOW 方法的联合学习方法，通过利用句子对齐语料库获得强健的跨语言词和句子表示，显著提高了跨语言句子检索性能，并在维持单词翻译方面与最先进的方法并驾齐驱，同时在零 - shot 跨语言文档分类任务方面达到深度 RNN 方法的水平，对单语词向量的提高优势明显。

Dec, 2019

利用词对齐改进低资源语言的跨语言句子嵌入

跨语言句子嵌入领域最近取得了很大的进展，但是由于平行语料的稀缺性，对于低资源语言的研究相对滞后。本文表明当前模型中低资源语言的跨语言词表示与高资源语言的对齐程度明显不足。为了解决这个问题，我们引入了一种新的框架，通过使用现成的词对齐模型，显式地对英语和八种低资源语言之间的单词进行对齐。该框架包含三个主要的训练目标：对齐的单词预测、单词翻译排序，以及广泛使用的翻译排序。我们通过在双语检索任务上进行实验证明了我们的方法，该方法在低资源语言的句子嵌入上取得了显著的改进。此外，所提出模型在高资源语言上更广泛任务的竞争性表现凸显了其实用性。

Apr, 2024

无需双语语料库的跨语言词嵌入学习

使用高覆盖率的字典和 EM 式训练算法，该方法解决了以前的跨语言词嵌入方法中的资源需求大、难以融合单语言数据或难以处理多义词等问题，在双语词汇表归纳任务中实现了表现卓越的结果，并且在单语词汇相似度和跨语言文档分类任务上也取得了有竞争力的结果。

Jun, 2016

通过中间相遇提升跨语言词嵌入

本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

Aug, 2018

多语言词嵌入的无监督超级对齐

本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

Nov, 2018

Cross-Align: 模拟深层跨语言相互作用以进行单词对齐

提出一种基于多语言预训练模型的词语对齐方法，通过在浅层中利用共享的自注意力模块，将源语句和目标语句单独编码，而在较高层通过交叉注意力模块显式地构建跨语言交互，达到提高词语对齐质量的效果。通过采用两阶段训练框架，实现对模型的有效训练，实验结果在五对语言中有四对的性能达到了最新水平。

Oct, 2022

通过微调平行语料库中的嵌入来进行单词对齐

该论文探讨了一种嫁接预训练语言模型和平行文本的方法来提高单词对齐质量的方法，提出了从这些微调模型中有效提取对齐信息的新方法，并证明了它们在五种语言对上优于之前的最先进模型，还演示了开源的具备预训练模型的 AWESOME 单词嵌入式多语言编码对齐器的实际性能

Jan, 2021

深度生成模型用于联合对齐和词表示

使用翻译数据作为词表示模型的语义相关学习信号的源，利用翻译中的等价性作为分布式上下文进行联合嵌入和对齐，通过概率归一化的隐变量词汇对齐实现嵌入词，并比较上下文中的词的重叠度。应用于多个语义任务上获得了良好的性能表现。

Feb, 2018

无监督的跨语言词向量空间转移

本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

Sep, 2018