通过在不同角度研究目标词汇规模、初始化方法以及可用于适应的目标数据量，我们在语料资源有限的环境中发现，基于简单启发式的词向量初始化方法更高效、更稳定，能够在目标词汇规模和适应数据变化时胜过常用的随机初始化和更复杂依赖外部数据和模型的最先进方法。

Jun, 2024

本文介绍了一种新方法，通过降低语言之间的词汇共享并分配单独语言的词汇容量，实现非常大的多语言词汇量的扩展，用于构建 XLM-V 多语言模型，其表现优于 XLM-R 模型。

Jan, 2023

本文比较现有多语言模型词汇表生成方法，提出了一种新的多语言词汇表生成方法。实验证明，该方法能够提高多个语言上的推理性能，同时在不增加模型大小或数据的情况下，将语言识别率降低了 8 倍。

Oct, 2020

本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

Sep, 2019

我们提出了一种基于词汇转移的模型压缩方法，通过与其他压缩技术结合使用，可以显著减小模型大小和推理时间，同时在性能上有轻微的妥协。

Feb, 2024

本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

Sep, 2023

本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

May, 2016

本篇研究介绍了一种对于大型视觉 - 语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的 EfficientVLM 模型仅含有 9300 万个参数，具有 98.4％的性能表现，并在各种视觉 - 语言任务中取得了令人瞩目的结果。

Oct, 2022

本文提出了一种新的神经机器翻译方法，可以考虑语言的词形属性，基于无监督的形态学习在任何速率下减少给定输入语料库的词汇量，并在土耳其语 - 英语 NMT 任务中通过比较生成输出的语义和句法特性来验证方法的效果，与传统词汇量缩减技术相比，显著提高了 2.3 BLEU 分数，表现更好。

Jul, 2017

通过对两种大规模单语数据进行预先训练的语言模型（LM）初始化无监督神经机器翻译（UNMT）系统可以获得最先进的结果，但当一个语言的数据有限时，则会导致翻译不佳。 我们提出了一种有效的方法，该方法重新使用仅在高资源语言上进行预训练的 LM。单语 LM 在两种语言上进行微调，然后用于初始化 UNMT 模型。为了重复使用预先训练的 LM，我们必须修改其预定义的词汇量以适应新语言。 因此，我们提出了一种新颖的词汇扩展方法（RE-LM），在英语 - 马其顿语（En-Mk）和英语 - 阿尔巴尼亚语（En-Sq）中的四个翻译方向上，RE-LM 的表现优于竞争的跨语言预训练模型（XLM），BLEU 分数提高了 + 8.3 以上。

Sep, 2020