多语言模型的离散和软提示
使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要,本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求,使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。
Jun, 2021
本文在多语种场景下探索Prompting在跨语言问题中的性能,借助Universal Prompting减轻了源语言训练和目标语言推断之间的差异,并提出了一种基于掩蔽标记增强的框架来进一步提高Prompting的性能。在XNLI任务上,只有每类16个英语训练示例的情况下,我们的方法达到了46.54%的准确性,明显优于34.99%的fine-tuning。
Feb, 2022
本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用,使用prompt-tuning进行多语言NLU任务(包括句子分类、序列标注和问题解答)中的跨语言评估,并与传统的微调方法进行了比较。结果表明,prompt-tuning在跨数据集跨语言传递方面比微调表现更好,而且只需调整0.1%到0.3%的参数。此外,分析表明,prompt tuning可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。
Oct, 2022
本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法,通过生成软提示的填空式问题和使用双语词典,将原问题与扩增多语言问题的表示对齐到相同的语义空间中,并通过一致性正则化实现在 XNLI 数据集上的最新性能,特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。
May, 2023
本论文提出了一种新的跨语言转移提示方法In-CLT, 在源语言和目标语言结合的情况下构建演示例子, 证明在多语言基准测试中, 这种提示方法不仅可以提高跨语言传递的可行性, 而且在推理任务中展现出了显著的性能提升, 平均比以前的跨语言转移方法提高了10到20个百分点, 而且还探讨了词汇相似性和预训练语料库之间在跨语言转移缺口方面的关系。
May, 2023
本文提出 ProFiT 管道,研究 Prompt-Based Finetuning 的跨语言能力,发现在语言理解中 Prompt-Based Finetuning 的效果和适用性优于 Vanilla Finetuning,且在少样本场景下表现出更大的优势。
Jul, 2023
将LLaMa适应于Kinyarwanda、Hausa和Luganda等低资源语言的提示设置是一种计算高效且成本效益的方法,优于翻译和LAFT,并在所有任务和语言上表现最佳。
Mar, 2024
基于多语言预训练模型,通过提示学习的跨语言转移已显示出有希望的有效性,其中在低资源情景中,从源语言到目标语言的软提示转移到下游任务中。为了有效地转移软提示,我们提出了一个新颖的框架——多语言提示翻译器(MPT),通过引入多语言提示翻译器来适当处理嵌入在提示中的重要知识,同时保留任务知识。在XNLI的少样本设置中,MPT表现出了比基线方法更突出的改进,当转移到与源语言相当不同的语言时,MPT比普通提示更为突出。
Mar, 2024