Nov, 2023
随机抽样的启发式优化
Prompt Optimisation with Random Sampling
Yao Lu, Jiayi Wang, Sebastian Riedel, Pontus Stenetorp
TL;DR使用语言模型的生成性质生成与任务相关的分隔符相较于人工策划的提示（如 “TL;DR”）表现出有竞争力的结果。我们证明，即使从词汇表中随机选择的标记作为分隔符，也能达到接近最先进性能的效果。通过使用三种不同的随机生成策略详细分析这一现象，我们建立了一个结论，即无论底层语言模型的尺寸如何，语言空间中都存在着潜在的良好分隔符。这些观察结果挑战了一个常见的假设，即一个有效的提示应该是可读的或与任务相关的。实验结果显示，使用随机分隔符相较于人工策划的分隔符，在七个语言模型上的九个文本分类任务中平均相对改进了 16％，与自动提示搜索方法相媲美。