本研究将预训练的词向量与搜索方法相结合，以解决多模态机器翻译中罕见词汇的翻译问题，并通过实验表明，这种方法能够改进机器翻译的性能。

Apr, 2019

本文提出使用词向量以减少神经机器翻译中性别偏见的方法并应用于 Transformer 翻译结构中，通过评估在 WMT 英西标准测试上的结果，展示出一定的性能提高和在职业测试集上消除基线系统已存在的偏见。

Jan, 2019

该论文提出了一种改进的去偏置单语词嵌入方法，以便于能够在跨语言情境下得到良好泛化，通过考虑不同的偏置量化方法以及单 / 多语言情境下不同的去偏置方法，证明了去偏置方法在下游 NLP 应用中的重要性。作者提出的方法在英语以及印地语、孟加拉语和泰卢固语三种印度语言的多语言嵌入中建立了最先进的效果，这将为基于词嵌入的不偏执下游 NLP 应用程序的创建打开新机遇。

Jul, 2021

我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

Feb, 2024

本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

Oct, 2020

我们提出了一种新的判别模型，它从多语言和多模态数据中学习嵌入，因此我们的模型可以利用多种语言的图像和描述来提高嵌入质量。通过对图像和语句进行排名、对语义文本相似性进行评估，以及对神经机器翻译进行评估，我们发现附加的多语言信号可以改进 ISR 和 STS 任务，并且判别成本也可以用于重新排列 NMT 模型产生的最佳 $n$ 列表，从而产生强大的改进。

Feb, 2017

本文研究了人类生成语料库（human-generated corpora）中由来的单词嵌入（word embeddings）存在着的性别偏见问题，以及已有的性别去偏置（debiasing）方法的局限性；在此基础上，提出了一种新的技术，Double Hard Debias，该技术能够在推断并去除性别子空间之前，首先过滤掉语料库中存储的单词使用频率等无关因素。实验证明，与之前的方法相比，本文提出的技术不仅保留了预训练好的单词嵌入的分布语义（distributional semantics），而且能够更有效地降低性别偏见。

May, 2020

本研究分析了预训练词向量在低资源场景下神经机器翻译性能提升方面的作用，通过五组实验结果表明，在某些情况下词向量的使用可以使翻译结果达到最高 20 个 BLEU 分数的提升。

Apr, 2018

本研究关注多语言词向量中的性别偏见对迁移学习的影响，并提出了量化多语言词向量性别偏差的方法。结果表明，不同目标空间上的多语言词向量性别偏差受到不同的影响，对于下游任务的使用提供建议。

May, 2020

本文研究了多语言模型中去偏技术的可转移性。我们在英语、法语、德语和荷兰语中检验了这些技术的适用性。利用多语种 BERT（mBERT），我们证明了跨语言的去偏技术不仅可行，而且效果显著。令人惊讶的是，我们的发现表明，在应用这些技术于非英语语言时并不存在性能劣势。我们使用 CrowS-Pairs 数据集的翻译，分析结果表明 SentenceDebias 在不同语言之间是最佳技术，在 mBERT 中平均降低了 13% 的偏见。我们还发现，具有额外预训练的去偏技术在分析的语言中展现了跨语言效果的增强，特别是在低资源语言中。这些新的深入认识有助于对多语种语言模型中的偏见缓解有更深层次的理解，并提供了在不同语言环境中进行去偏技术的实践指导。

Oct, 2023