本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。

Apr, 2021

自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

Apr, 2024

该论文研究了利用自动诱导的提示从语言模型中提取信息的能力是否可以被直接应用于探索其他语言模型。在证实了自动提示优于手动和半手动提示的插槽填充任务后，我们证明了在一个模型上学习并在另一个模型上进行测试的 AutoPrompt 提示效果下降。我们介绍了一种混合语言模型来诱导提示的方法，以获得可以在多个模型之间广义的提示。我们对诱导提示进行了全面分析，发现更通用的提示包括更大比例的现有英语单词，其组成部分信息的分布更少依赖顺序并且更加均匀。我们的研究提供了初步证据表明可能生成可诱导一次并与许多不同模型一起使用的离散提示，并提供关于表征此类提示的属性的见解。

Feb, 2023

本文探讨利用语言模型 (LLMs) 作为知识源，辅助 agent 学习新任务的能力。通过使用构建提示词（或 “暗示”），研究什么样的响应既合理，又可以满足 Agent 任务上下文。研究结果表明，在线 agent 任务学习可以从 LLMs 获取可操作的任务知识。

Sep, 2022

通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

Feb, 2022

通过自动修订提示符来进行个性化文本生成的研究。

Sep, 2023

我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

Nov, 2023

语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。

Oct, 2023

本文研究了自动提示技术在六个不同的下游任务和更广泛的 K-shot 学习场景中的应用。我们发现，自动提示并不总是优于简单的手动提示。我们的研究表明，在这一领域的研究中，除了 fine-tuning 之外还应该使用手动提示作为基线。

Apr, 2023

本文提出了一种用于自动化生成和优化大型语言模型中提示的新框架 AutoHint，该框架利用了输入 - 输出演示派生的丰富指示来优化原始提示。通过将当前 LMM 的丰富指示嵌入 LLM 训练中，该方法可以大大提高多个任务的准确性。

Jul, 2023