跨语言检索增强低资源语言提示

Dec, 2022

Cross-Lingual Retrieval Augmented Prompt for Low-Resource Languages

Ercong Nie, Sheng Liang, Helmut Schmid, Hinrich Schütze

TL;DR使用高资源语言作为提示，通过检索从而增强上下文，提出的 PARC 管道，可以提高低资源语言的零 - shot 表现。在对涵盖 6 个语言家族的 10 个低资源语言进行多语言并行测试集时，PARC 可以在未标记的设置中提高 5.1％，在标记的设置中提高 16.3％。同时还比微调基线的效果提高了 3.7％。

Abstract

multilingual pretrained language models (MPLMs) have shown their strong multilinguality in recent empirical cross-lingual transfer studies. In this paper, we propose the Prompts Augmented by Retrieval Crosslingually (PARC) pipeline to improve the →

multilingual pretrained language models crosslingual transfer low-resource languages parc pipeline zero-shot performance

发现论文，激发创造

跨语言检索增强上下文学习：孟加拉语

通过跨语言检索增强的方法，我们的研究论文提出了一种创新的方法，利用高资源语言中语义相似的提示来提高多语言预训练语言模型在孟加拉语任务上的性能。详细评估表明，跨语言检索增强的提示对于多语言预训练语言模型的性能有稳定的提升作用。

Nov, 2023

低资源语言中大型语言模型的少样本跨语言迁移

将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

Mar, 2024

通过多语言提示翻译进行自然语言推理的跨语言迁移

基于多语言预训练模型，通过提示学习的跨语言转移已显示出有希望的有效性，其中在低资源情景中，从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示，我们提出了一个新颖的框架 —— 多语言提示翻译器（MPT），通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识，同时保留任务知识。在 XNLI 的少样本设置中，MPT 表现出了比基线方法更突出的改进，当转移到与源语言相当不同的语言时，MPT 比普通提示更为突出。

Mar, 2024

从分类到生成：跨语言检索增强 ICL 的见解

通过利用跨语种检索增强的上下文学习（CREA-ICL）方法，从高资源语言中提取语义相似的提示，以改善多语言预训练语言模型（MPLMs）在各种任务中的零样本性能，本文研究了大型语言模型在低资源语言中上下文学习（ICL）性能的限制和挑战，并对检索增强的上下文学习在分类和生成任务中的性能动态提供了洞见。

Nov, 2023

利用词汇相似性实现极低资源语言的零 - shot 机器翻译

本篇论文讨论了如何利用字符噪声注入方法，将近乎无资源语言翻译成英文，使其更能够适应高资源语言，并在多种语言家族的紧密相关语言对中得到了显著的优异表现。

May, 2023

POMP: 低资源无监督神经机器翻译中基于概率的元图提示器

提出了基于概率的元图提示器 (POMP) 方法，通过动态抽样的多个辅助语言构建有向无环的元图，以增强大型语言模型在低资源语言的翻译能力，并借助 BLEURT 评价指标验证有效性。

Jan, 2024

基于语言模型检索的多语言少样本学习

本文在多语言和交叉语言设置下，通过全面研究检索语义相似的少样本示例的方法来提升 Transformer 模型在自然语言理解任务中的性能。结果表明该方法在英语以外的单语言和交叉语言任务中均优于随机抽样。