pretrained multilingual language models | BriefGPT

关键词pretrained multilingual language models

搜索结果 - 4

使用预训练语言模型、嵌入蒸馏和上采样策略改善 CTC 非自回归翻译质量
通过使用 CTC loss 进行微调 PMLM 模型、采用 MASK 插入方案进行上采样、使用嵌入蒸馏方法进一步提高性能，使得非自回归模型获得了更好的翻译质量和加速，并在多个数据集上优于自回归模型
PDFa year ago
多任务微调实现跨语言通用化
研究发现多任务 finetuning 可以帮助大型多语言模型成功推广至非英语任务中，并且使用机器翻译英文为前缀可以获得更好的性能，最终实现零 - shot 的结果。
PDF2 years ago
预训练的多语言模型在不同语言间的公平性是否相同？
探讨预训练多语言语言模型的组公平性，通过创建一个新的平行洞察测试实例的多语言数据集（MozArt）及使用人口统计信息来评估三种多语言模型（mBERT，XLM-R 和 mT5），我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性，例
PDF2 years ago
ACL你的分词器有多好？多语言语言模型在单语言性能上的表现
通过在九种语言和五种单语言任务的实验中对比预训练的多语言和单语言模型的表现来研究它们之间的差异，结果表明预训练数据规模和专门的单语言分词器对于下游性能同样重要，而对于具有多语言模型词汇表适当表示的语言的性能下降可以忽略不计。使用专门的单语言
PDF4 years ago