利用背景提示将知识注入大型语言模型
本文提出使用软提示的方法将世界知识应用到大型自然语言模型中，通过自监督学习在知识库数据上训练软提示，得到的软知识提示可以被用于提高语言模型在不同知识密集型任务中的性能。
Oct, 2022
本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。
Oct, 2022
通过使用 Infuser-Guided Knowledge Integration (InfuserKI) 框架，我们能够高效地将未知的知识集成到 Large Language Models (LLMs) 中，从而有效地减少知识遗忘，并超过现有方法在减少知识遗忘上的表现。
Feb, 2024
通过结合临床领域特定知识图谱和大语言模型，在临床自然语言处理中提出了一种创新、资源高效的方法 ClinGen，通过临床知识提取和上下文信息化的大语言模型指导数据生成，持续提升性能，对生成训练实例的多样性和真实数据分布进行有效调整。
Nov, 2023
本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。
Mar, 2023
本文提出了一种新的连续提示方法，称为上下文调整，用于对预训练语言模型进行微调以进行自然语言生成，可以根据输入文本生成上下文化的提示，然后使用连续的反向提示来改进过程自然语言生成的过程。
Jan, 2022
本研究旨在探讨结构化数据如知识图谱和文本等对大语言模型（LLMs）内部化知识的差异，提出了一种将结构化知识注入 LLMs 的方法，并通过在不同知识图谱数据上的预训练和多个自然语言任务的性能比较，证明了该方法的有效性。
May, 2022
通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。
Nov, 2023
本论文旨在提出一种有系统的方法将外部知识图谱融入 Transformer 模型中，以解决在语言模型中存在的幻觉和对人类用户生成无用和不安全输出的问题，并在 GLUE 基准测试任务上进行大量实验证明其有效性。
Jun, 2023
本文探讨了使用渐进式的梯度下降机制为先前的预训练语言模型 Fine-Tuning 提供含监听词库的句子造句模式，以从中提取模型对于文本特征的认知，并使用软词向量进行任务综合，将此方式与传统的任务方法进行对比，显示其在任务中的巨大性能提升，而随机初始化甚至可以代替详细的初始化方式，因此这种知识的提取可以廉价地实现。
Apr, 2021