May, 2023
通过统一的评估和分析提高基于概率的提示选择
Improving Probability-based Prompt Selection Through Unified Evaluation
and Analysis
TL;DR本文中，我们提出了一种统一的框架来解释和评估现有的概率基准选取方法，对13个常见的NLP任务进行了广泛的实验，并发现所有现有方法都可以统一为一些变量的方法，这些方法最大化了输入和相应模型输出之间的互信息，并提出了几种互信息的变体，并通过较新的校准方法，即Margin- Calibration by Marginalization（CBM）提高了最佳选择方法的准确性，从而将选中问题的性能与最佳Oracle问题的性能比率提高到99.44%。