本文提出了一个模块化的感知诱导和表示学习模型，联合学习双语感知嵌入，在向量空间中很好地对齐，利用英汉平行语料库中的跨语言信号捕捉语言对中的词汇搭配和分布特征。通过在 Stanford 上下文单词相似性（SCWS）数据集上进行评估，确保单语感知嵌入的质量。此外，我们还介绍了双语上下文单词相似性（BCWS），这是评估跨语言感知嵌入的大型高质量数据集，是衡量学习的嵌入是否在向量空间中确实对齐的第一次尝试。所提出方法展示了在单语和双语空间中评估感知嵌入的优越质量。

Sep, 2018

本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

Sep, 2019

本文提出一种使用无监督预训练的深度上下文嵌入的多语言转移方法，可以提高零样本和少样本学习的依赖解析的效果。实验结果表明，该方法在六种测试语言中持续优于之前的最新技术。

Feb, 2019

该研究提出了一种使用单语和双语信息学习多义词嵌入的方法，并且发现从双语数据中求得的单词表示在各种评估任务中优于单语表示，尽管测试时不存在跨语言信息。

Mar, 2016

本文提出了一种基于上下文的跨语言映射技术，利用平行语料库中对齐的句子的平均嵌入来替代单词级别映射，从而实现更好的句子级别跨语言相似性，实验证明该方法能够在句子翻译检索中优于独立于语境的单词映射。

Mar, 2019

该论文介绍了一种利用多语种语料库改进多义词嵌入的多视角贝叶斯非参数算法，这是第一个能有效利用多语种语料库进行多意词表示学习的方法，结果表明采用多语种语料库可显著提高性能。

Jun, 2017

介绍一种利用最近邻分类法和上下文表示词嵌入进行词义消歧的简单而有效的方法，并比较不同的上下文表示模型在该任务上的表现。使用标准的词义消歧数据集表明，在这项任务上，与现有技术相比，已取得了改进。另外还展示了预训练的 BERT 模型能够将多义词与嵌入空间的不同 “意义” 区域联系起来，而 ELMo 和 Flair NLP 似乎没有这种能力。

Sep, 2019

本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

Feb, 2022

我们提倡在跨语言零 - shot 词义消歧中使用大型预训练单语语言模型，并结合一种上下文映射机制。我们通过字典学习过程获得了稀疏上下文化词表示，并进行了严格的实验，证明了上述改进带来了显著的提升，平均 F 分数增加了近 6.5 个百分点（从 62.0 增加到 68.5），涵盖了 17 种语言。我们在此网址发布了复制实验的源代码。

Jul, 2023

本研究提出了一种基于弱监督（仅有相同单词列表）的方法，通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题，并在双语词表归纳和 XNLI 任务上取得了较好的结果，相比于传统的映射方法表现更好。

Dec, 2020