EMNLPOct, 2020

利用语言聚类词汇改进多语言模型

PDF
TL;DR本文比较现有多语言模型词汇表生成方法，提出了一种新的多语言词汇表生成方法。实验证明，该方法能够提高多个语言上的推理性能，同时在不增加模型大小或数据的情况下，将语言识别率降低了 8 倍。
multilingual modelsvocabulary generationlanguage clusterscross-lingual subword sharingkey multilingual benchmark tasks
发现论文，激发创造
  • 使用词汇扩展提高预训练多语言模型的性能

    本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

    Sep, 2019

  • 通过词汇修剪实现高效的多语言语言模型压缩

    本文提出了一种叫做词汇修剪的方法，可将多语言语言模型压缩至任何语言，得到与原始模型同样的性能，同时比原始模型更小。我们在七种语言中评估了该方法，并表明该方法可以将最佳的单语言模型性能与多语言模型的优越性结合起来。

    May, 2023

  • 为跨语言语言模型预训练分配大型词汇容量

    通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。

    Sep, 2021

  • 基于 GPU 的聚类快速词汇投影法用于多语机器翻译

    本文提出了一种通过聚类实现快速词汇投影的方法，以用于 GPU 上的多语言 transformers，结果显示在保持 BLEU 得分的同时，在浮点 GPU 推理速度上最高可提高 25％，并最高可提高 2.6 倍的词汇投影速度。

    Aug, 2022

  • 跨语言词汇适应的实证研究：高效生成式 LLM 推理

    对五种生成式大型语言模型进行了实证研究，探讨了跨语言词汇适应方法对提高模型推理效率的有效性，发现跨语言词汇适应可大幅提升模型推理速度高达 271.5%，同时适应更平衡的多语种数据可以使下游性能接近原始模型。

    Feb, 2024

  • XLM-V: 克服多语言掩码语言模型中的词汇瓶颈

    本文介绍了一种新方法，通过降低语言之间的词汇共享并分配单独语言的词汇容量，实现非常大的多语言词汇量的扩展，用于构建 XLM-V 多语言模型，其表现优于 XLM-R 模型。

    Jan, 2023

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 在开放词汇神经语言建模中学习创造和重复使用单词

    使用具有缓存机制的分层 LSTM 语言模型在多种语言维基百科文章上进行开放词汇量语言建模，通过字符级别的生成实现不同语言之间的数据共享，进而可以有效解决固定词汇量模型中常见的新词问题。

    Apr, 2017

  • 多语言语言聚类神经机器翻译

    本文提出了一种语言聚类框架，通过使用两种语言聚类的方法（一种是根据语言系族群划分，另一种是使用语言向量嵌入空间进行聚类），将成千上万种语言分成不同的群组，并针对每个群组训练一个多语言神经机器翻译模型，该方法可以有效提高翻译准确度。

    Aug, 2019

  • 嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

    本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。

    Sep, 2023