language adapters | BriefGPT

关键词language adapters

搜索结果 - 6

对 SwissBERT 编码模型进行微调，用于嵌入句子和文档
对句子或短文档进行嵌入式编码的编码器模型，用于语义搜索和主题建模。本文介绍了一种专门为此目的微调的 SwissBERT 编码器模型版本，采用对瑞士四种国家语言（德语、法语、意大利语和罗曼什语）进行了预训练，使用对应文章子集的对比学习进行微调
PDF2 months ago
跨语言 NLU 中的语言适配器的影响
在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常
PDF5 months ago
ZGUL：使用多源适配器的零样本泛化到未见过的语言
通过使用语言适配器（LAs）解决 NLP 任务中的零射击跨语言转移问题，并结合多个源语言的语言适配器进行训练和测试，展示了在 POS 标注和 NER 任务上相对标准微调和其他强基线模型平均 F1 分数提高了 3.2 个点的改进。
PDF8 months ago
多语音识别中的代码切换适配器适应
本文提出了在代码转换的语音中有效地微调大型预训练多语言语音模型的方法，并将代码转换建模为一系列潜在的二进制序列，以引导每个语言适配器在帧级别上的信息流，通过在阿拉伯语、普通话和印地语等多种语言与英语配对的数据集上的评估，显示出代码转换性能的
PDF9 months ago
ICLR适应低资源双重限制：研究在非洲低资源语言中使用低计算方法
通过对非洲语言 NLP 的低成本实验，我们评估了语言适配器的效果，并发现它们可以在仅使用免费计算资源的情况下与计算资源密集型的大规模预训练语言模型相媲美，从而打开了进一步实验和探索的可能。
PDFa year ago
SwissBERT：瑞士的多语言语言模型
SwissBERT 是一个针对处理与瑞士有关的文本而创建的掩模语言模型，它是一个预训练模型，适用于瑞士的德语、法语、意大利语和罗曼什语的新闻文章，该模型使用语言适配器，在处理当代新闻和 / 或罗曼什・格里施人时，往往可以比以前的模型更好地完
PDFa year ago