本文比较现有多语言模型词汇表生成方法，提出了一种新的多语言词汇表生成方法。实验证明，该方法能够提高多个语言上的推理性能，同时在不增加模型大小或数据的情况下，将语言识别率降低了 8 倍。

Oct, 2020

在本文中，我们介绍了一种利用上下文向量的聚类结构的软最大似然层逼近算法，在移动设备上比传统方法具有更快的推理速度。我们使用 Gumbel softmax 对筛选模型进行端到端训练，通过在各种 NLP 任务中对前 k 个单词进行预测，实现了一个数量级更快的推理速度，例如在德语到英语的机器翻译任务中，与现有先进技术相比，我们实现了 20.4 倍的加速。

Oct, 2018

本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

Oct, 2016

本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

Dec, 2014

该研究提出了一个能够在多种语言中聚类新闻文章的在线系统，利用多语言上下文嵌入作为文档表示，由线性分类器聚合相似文件，通过在线合并来纠正相关的多语言聚类，并在多语言新闻流聚类数据集上取得了最新的成果。

Apr, 2022

本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

May, 2016

本文提出了一种语言聚类框架，通过使用两种语言聚类的方法（一种是根据语言系族群划分，另一种是使用语言向量嵌入空间进行聚类），将成千上万种语言分成不同的群组，并针对每个群组训练一个多语言神经机器翻译模型，该方法可以有效提高翻译准确度。

Aug, 2019

文章提出了一种名为自适应 softmax 的算法，采用字词聚类的方法来降低神经网络语言模型训练中的计算复杂度，并结合现代计算机体系结构和矩阵向量运算技术进一步提高了训练效率。实验结果表明该方法的效果稳定，能够在保证高精度的同时显著提高计算速度。

Sep, 2016

本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

Sep, 2019

本文利用立方剪枝技术，构建目标语言等价类和减少 RNN 展开所需并行操作和 softmax 运算，以提高神经机器翻译的翻译速度，同时保证翻译质量，在 GPU 上快了约 3.3 倍，在 CPU 上快了约 3.5 倍。

Sep, 2018