BriefGPT.xyz
May, 2023
上下文学习用一体化演示检索器
Unified Demonstration Retriever for In-Context Learning
HTML
PDF
Xiaonan Li, Kai Lv, Hang Yan, Tianyang Lin, Wei Zhu...
TL;DR
在这篇论文中,我们提出了一种统一的演示检索器(Unified Demonstration Retriever,UDR),通过语言模型的反馈,将各种任务的训练信号转化为一个统一的列表排序公式,并采用迭代挖掘策略来找到高质量的候选人,UDR在30多项任务和13个任务系列以及多个数据领域上的实验表明,它显著优于基准。
Abstract
in-context learning
is a new learning paradigm where a
language model
conditions on a few input-output pairs (demonstrations) and a test input, and directly outputs the prediction. It has been shown highly depend
→