crosslingual transfer | BriefGPT

关键词crosslingual transfer

搜索结果 - 6

ACLGlossLM：面向低资源的多语言预训练用于语言互译注释
我们编译了最大的现有的跨语言翻译数据语料库，从多个来源收集了超过 450k 个样例，覆盖了 1.8k 种语言，以便进行跨语言转移和跨语言翻译生成的研究。然后，我们对这个语料库的部分内容进行大规模多语言模型预训练，并进一步对特定语言进行微调。
PDF4 months ago
TransliCo: 解决多语种预训练语言模型中的脚本障碍的对比学习框架
通过 TransliCo 框架中的 Transliteration Contrastive Modeling (TCM) 对 mPLM 进行精调，通过对其训练数据中的句子及其在统一脚本 (Latn) 中的音译进行对比，确保了不同脚本的统一表
PDF6 months ago
OFA：一种为高效大规模多语言持续预训练初始化未见子词嵌入的框架
提出了一种新颖的方法 One For All (Ofa)，通过智能地初始化目标语言中看不见的子词嵌入，从而高效有效地将预训练语言模型（PLMs）适应于多种语言，并通过外部的多语言词嵌入和矩阵分解技术提高效率和性能。
PDF7 months ago
跨语言检索增强低资源语言提示
使用高资源语言作为提示，通过检索从而增强上下文，提出的 PARC 管道，可以提高低资源语言的零 - shot 表现。在对涵盖 6 个语言家族的 10 个低资源语言进行多语言并行测试集时，PARC 可以在未标记的设置中提高 5.1％，在标记的
PDF2 years ago
AAAIOpenHands：使用基于姿态的预训练模型使跨语言手语识别变得易于使用
本文介绍了 OpenHands 库，将 NLP 中四个关键点应用于手语识别中，包括姿势提取，训练基于姿势的孤立手语识别模型，自我监督预训练和跨语言迁移，并在 6 种不同的手语中标准化姿势数据集和预训练数据集。
PDF3 years ago
多语言 BERT 中注意力头的可剪枝性
通过对 mBERT 进行修剪，我们 quantifying 它的鲁棒性和逐层理解其重要性，结果表明缩减其注意力容量不会影响其鲁棒性。而在跨语言任务 XNLI 中，修剪会导致准确性下降，这表明跨语言转移的鲁棒性较低。此外，编码器层的重要性受语
PDF3 years ago