Nov, 2023

更多样本还是更多提示输入?探索用于 LLM 少样本提示工程的有效上下文抽样

TL;DR本文介绍了一种低资源的 LLM 提示工程技术,名为 In-Context Sampling(ICS),通过优化构建多个 ICL 提示输入以获得最有信心的预测结果;在两个 SOTA LLMs(FlanT5-XL 和 Mistral-7B)以及三个 NLI 数据集(e-SNLI、Multi-NLI 和 ANLI)上进行的大量实验表明,ICS 可以始终提高 LLM 的预测性能和置信度,并且消融研究表明多样化的 ICS 策略可能进一步改善 LLM 的性能,为未来的研究方向提供了新的有前途的思路。