本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

本文提出使用基于挖掘和释义的自动化方法来生成高质量且多样化的提示语，并使用模型集成的方法来改进语言模型（LM）中的关系知识的查询。通过 LAMA 基准测试表明，该方法将 LM 的准确性从 31.1% 提升至 39.6%，为 LM 的知识提供了更严格的下限估计。

Nov, 2019

本文提出了一种无模型的探测方法 —— 提示探测法，通过在 5 个探测任务上的实验表明，这种方法在提取信息方面与诊断探针相当或更好，并且可以自我学习得更少。此外，结合关注头修剪与提示探测法，分析模型在其架构中存储语言信息的位置，并通过删除对特定语言属性至关重要的头部来评估预训练的有用性。

Jul, 2022

本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。

Oct, 2022

本文提出了一种 Language Model Programming（LMP）的全新方法，以将纯文本提示扩展为文本提示和脚本的直观组合，并允许指定约束条件，从而实现对下游任务的易于适应性。通过实现 LMQL（Language Model Query Language）来实现 LMP 的支持，并证明了其在保持或提高下游任务准确性的前提下，大大减少了计算的成本。

Dec, 2022

描述一个知识图谱填充系统，通过特定任务的预训练提高被屏蔽对象令牌的 LM 表示，分步生成候选对象的提示分解等方法提供高质量的检索。该系统赢得了 ISWC 2022 举办的 LM-KBC 挑战赛的赛道 1，并在 BERT LM 上实现了 55.0％的 F-1 得分。

Aug, 2022

本研究提出了一种基于位置 - 注意机制的方法，避免了构造多种不同的提示模板。使用生物医学预训练语言模型，实验结果显示我们的方法能更好地填补掩码，对罕见提示模板的回答（如后缀和混合模式）更为有效。

Mar, 2022

使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务，本文探讨使用自然语言编程来优化引导，提出元引导概念后能够生成更多的任务自然语言引导，展望这些方法如何应用于实践应用。

Feb, 2021

利用大规模预训练语言模型，通过迭代增强和定制提示来提升其在复杂任务中的性能。

Oct, 2023