本文研究了大型语言模型的可控性和鲁棒性，并提出了一种新的知识感知微调方法（KAFT），可通过引入反事实和无关语境来增强模型的可控性和鲁棒性。该方法适用于各种模型构架和规模。

Nov, 2022

本文探讨了一种简单而有效的以解耦编码器解码器为基础的架构来将外部语境整合到语言模型中，从而提高参数效率、可解释性和模块化；研究表明，这种架构在自回归语言模型和开放领域问答任务中表现出竞争力，并进行了具体分析。同时，我们还探讨了增强检索模型的计算含义。

Oct, 2022

本论文提出了一种新颖的半参数语言模型结构，Knowledge-in-Context (KiC)，通过一个知识丰富的外部存储器来增强参数化文本至文本语言模型，并且采用了一种实例自适应的知识选择器来进行训练，实验结果表明，KiC 比大规模的全参数语言模型在 40 多项不同任务上表现更出色。

Oct, 2022

通过与用户与搜索引擎的交互历史相关的上下文，我们提出了一种新颖且通用的方法，用于个性化输出，这对于理解用户当前的搜索背景以及他们历史上知道和关心的内容是必要的。我们验证了我们的方法在上下文查询建议的任务上优于几个其他 LLM 基准方法，生成了在上下文中更相关、个性化和有用的查询建议。

Nov, 2023

本文通过在预训练中引入实体信号，将知识意识融入到语言模型的预训练中，无需改变 transformer 体系结构、插入显式知识层或添加语义信息外部存储。实验证明，仅通过添加这些实体信号进行预训练，可以在 transformer 参数中装载更多的知识，从而提高语言建模精度，并在 LAMA 知识探测任务中获得事实的正确性，利用边界分析显示出隐藏表示中的语义，同时表明我们的知识感知语言模型（KALM）可以作为一个可抛弃替换 GPT-2 模型，显著提高了零 - shot 问题回答等下游任务的表现。

Jun, 2020

本文通过使用诊断测试，揭示了预训练 MNLM 中包含的常识知识，并发现 MNLM 模型不能准确理解语义关系，还存在对需要常识知识的语义变化的脆弱性。此外，我们发现了某些知识未被训练的根本原因，并通过在受控实验中利用外部常识知识库来丰富文本的方法，提出了克服 MNLM 模型的局限性的可能性。

Sep, 2022

人类对世界的理解与我们的感知和认知密切相关，其中人类语言作为世界知识的重要承载者之一。本文通过 “知识” 这个视角来探索大型模型，并讨论符号知识如何增强大型语言模型以及大型语言模型如何扩展传统符号知识基础。考虑到人类知识的复杂性，我们倡导创建专门管理多样化知识结构的大型知识模型，并提出了五个 “A” 原则来区分 LKM 的概念。

Dec, 2023

通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

Sep, 2019

将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

Sep, 2023

本文回顾了最近关于使用预先训练的自然语言处理语言模型作为知识库的文献，提出了应该具备的一些方面，探讨了这种方法相较于传统知识库的优势在于无需人工监督进行的无监督学习。

Apr, 2022