ICLRFeb, 2023
离散信息提取提示能否在语言模型之间推广？
Can discrete information extraction prompts generalize across language models?
Nathanaël Carraz Rakotonirina, Roberto Dessì, Fabio Petroni, Sebastian Riedel, Marco Baroni
TL;DR该论文研究了利用自动诱导的提示从语言模型中提取信息的能力是否可以被直接应用于探索其他语言模型。在证实了自动提示优于手动和半手动提示的插槽填充任务后，我们证明了在一个模型上学习并在另一个模型上进行测试的 AutoPrompt 提示效果下降。我们介绍了一种混合语言模型来诱导提示的方法，以获得可以在多个模型之间广义的提示。我们对诱导提示进行了全面分析，发现更通用的提示包括更大比例的现有英语单词，其组成部分信息的分布更少依赖顺序并且更加均匀。我们的研究提供了初步证据表明可能生成可诱导一次并与许多不同模型一起使用的离散提示，并提供关于表征此类提示的属性的见解。