本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

本文首次尝试运用 Prompt Learning 模型中的 cloze-style 任务，设计了 Prompt4NR 框架，包含了离散、连续和混合模板，并使用 Prompt Ensemble 方法，成功提升了新闻推荐效果，实验采用了 MIND 数据集进行验证。

Apr, 2023

我们提出了一种知识感知的提示调整方法，名为 KnowPrompt，用于关系提取，即将潜在知识注入到提示构建中，并通过结构约束进行协同优化，该方法在五个数据集上的实验结果表明其有效性。

Apr, 2021

本文基于预训练语言模型的方法，提出了一种新的知识增强框架语义分析架构（KAF-SPA），用于从高维向量空间中构建连续模板以提高语义表示，并使用混合提示将选定的知识融入到 PLM 中，实现语义框架的歧义消解，并在两个公共数据集上实现了优于强基线的最新结果。

Mar, 2023

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

Aug, 2021

本文介绍了一种应用 Prompt learning 到简历信息提取的方法，其中使用了 MLM 和 Seq2Seq PLMs，以及 Manual Knowledgeable Verbalizer (MKV)，并探讨了在应用场景下设计 Prompt templates 和 verbalizer 的规则。实验证明，基于这些规则设计出来的模板和 verbalizer 比现有的手动模板和自动生成的提示方法更有效和更具鲁棒性，同时 MKV 显著解决了样本不平衡问题。

Sep, 2022

本文提出了一种针对开放域问答中重新排序的特定段落提示调优方法（PSPT），该方法能够通过微调可学习的段落特定软提示，并结合限定的问题 - 段落相关性对段落特定知识进行增强，以基于模型生成问题的对数似然和学到的软提示对检索到的段落进行排序。通过在三个公开可用的开放域问答数据集上使用 Llama-2-chat-7B 模型进行广泛实验，结果证明了所提方法的有效性。

May, 2024

通过设计两种类型的知识感知提示，离散提示和学习连续提示，以及视觉编码器的适应头部，实现针对视觉 - 语言模型的知识感知提示调整（KAPT）框架在少样本图像分类中的有效性和对未见类别的泛化能力。与最先进的 CoCoOp 方法相比，KAPT 在新类别中获得了 3.22% 的绝对增益和 2.57% 的调和均值增益。

Aug, 2023

本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

Nov, 2022