Sep, 2023

嵌入结构的重要性：比较将多语言词汇适应到新语言的方法

PDF
TL;DR本研究提出了几种简单的技术，通过替换跨语言词汇为紧凑的特定语言词汇来改善在低资源语言中的性能，以及基于脚本子分布的嵌入重初始化技术在适应多语言模型方面与依赖于辅助模型获得的相似度分数的技术（如焦点方法）相媲美。
pre-trained multilingual language modelslanguage-adaptive pre-trainingcross-lingual vocabularyembedding matrixlow-resource languages
发现论文，激发创造
  • 低资源跨语言迁移的词汇扩展

    通过在不同角度研究目标词汇规模、初始化方法以及可用于适应的目标数据量，我们在语料资源有限的环境中发现，基于简单启发式的词向量初始化方法更高效、更稳定，能够在目标词汇规模和适应数据变化时胜过常用的随机初始化和更复杂依赖外部数据和模型的最先进方法。

    Jun, 2024

  • 诱导语言无关的多语言表示

    本研究提出三种方法以提高跨语言表示的效果，包括将目标语言的向量空间重新对齐到源语言，去除语言特异性的均值和方差，以及通过去除形态和句子重新排序来增加跨语言相似性。研究发现，这些方法联合使用可以降低跨语言转移障碍。

    Aug, 2020

  • 跨语言词汇适应的实证研究：高效生成式 LLM 推理

    对五种生成式大型语言模型进行了实证研究，探讨了跨语言词汇适应方法对提高模型推理效率的有效性，发现跨语言词汇适应可大幅提升模型推理速度高达 271.5%，同时适应更平衡的多语种数据可以使下游性能接近原始模型。

    Feb, 2024

  • 跨语言单词嵌入模型的实证比较

    通过系统比较四种不同的方法，本研究对于在四个不同语言对上诱导跨语言词向量的方法进行了评估，包括内在评估和外在评估，并展示在某些任务上，廉价监督模型的性能是有竞争力的。

    Apr, 2016

  • 跨语言词嵌入模型调查

    本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

    Jun, 2017

  • 无共享词汇的神经机器翻译模型的有效跨语言转移

    文章介绍了一种不需要共享词汇的方法，使用跨语言词嵌入来缓解语言间的词汇不匹配，注入人工噪声，从预训练数据轻松生成合成数据，并在五种低资源翻译任务中将纯 NMT 转移提高了 + 5.1% BLEU，优于多语言联合训练。

    May, 2019

  • 基于子空间嵌入的轻量级神经语言模型适应

    我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

    Aug, 2023

  • 为跨语言语言模型预训练分配大型词汇容量

    通过 VoCap 算法确定语言所需的词汇容量并使用 k-NN 目标采样来加速昂贵的 softmax，从而缓解词汇量增加的副作用，提高交叉语言模型的预训练速度和性能。

    Sep, 2021

  • UNKs 无处不在：将多语言语言模型适应新的字符集

    本文介绍了一种基于矩阵分解和词汇重叠的方法，能够快速适应预先训练的多语言模型以适应资源匮乏的语言和未知脚本，并且在这些语言中能够获得显著的性能提升。

    Dec, 2020

  • 专注：有效的嵌入初始化策略用于针对单一语言进行预训练的多语言模型优化

    使用高资源语言预训练的模型权重作为启动可以降低获取低资源语言高质量语言模型所需的数据和计算量，为了适应新语言，需要调整预先训练的词汇表和嵌入。本文研究了多语言源模型设置，提出了 FOCUS - Fast Overlapping Token Combinations Using Sparsemax 一种嵌入初始化方法，该方法在适应 XLM-R 时优于先前的方法，FOCUS 将新添加的令牌表示为预训练和新词汇表重叠的令牌组合。重叠的令牌是基于辅助令牌嵌入空间中的语义相似性选择的。

    May, 2023