通过对上下文新知识的影响进行分析，我们观察到虽然新知识的 logits 显著提升，但由于顽固的知识的存在，in-context editing 的性能仍然受到限制。为了解决这个问题并进一步提高 in-context editing 的性能，我们提出了一种新的方法，称为 DeCK，它通过对比由 in-context editing 引导的新编辑知识和未编辑参数化知识获得的 logits 来导出下一个 token 的分布。实验结果一致表明，DeCK 增强了 LLMs 对编辑事实的置信度，为开发 LLMs 的有效和可追溯的知识编辑方法铺平了道路。

May, 2024

本文提出了一种基于 DISCOS 算法的常识知识获取框架，能够将更昂贵的复杂常识知识自动转化为更可承担的语言知识资源，以此来获取大规模常识推理知识。此方法在 novelty 和 diversity 方面表现优越，拥有着与监督学习方法相当的质量。

Jan, 2021

当前的知识编辑方法在有效传播互联事实的更新方面存在困难。本研究深入探讨了在准确推理中妨碍更新知识适当传播的障碍。为了支持我们的分析，我们引入了一个新颖的基于推理的基准测试 - ReCoE（基于推理的反事实编辑数据集），其中涵盖了真实世界中的六个常见推理方案。我们对包括输入增强、微调和定位 - 编辑在内的现有知识编辑技术进行了彻底分析。我们发现，所有模型编辑方法在这个数据集上显示出明显的低性能，特别是在某些推理方案上。通过对编辑模型思维链的分析，我们从推理的角度揭示了现有知识编辑方法不足的关键原因，涉及到对事实的编辑，事实回忆能力和生成连贯性方面。我们将公开提供我们的基准测试。

Jan, 2024

我们提出了一种新的知识编辑视角，称之为基于约束的解码，在大型语言模型中进行。我们提出了 DeepEdit（一种基于深度优先搜索的渐进解码知识编辑的神经符号方法），该方法通过更好的推理连贯性、与问题的相关性以及对更新知识的认知来提高知识编辑。DeepEdit 可以灵活应用于所有黑盒语言模型，不需要访问模型参数、表示或输出词汇分布。DeepEdit 逐步产生高质量的推理步骤，以实现有效的知识编辑。它利用深度优先搜索来修订语言模型的输出，从而提高对输入问题的信息量和对更新知识的认知。在定性上，DeepEdit 能够有效控制语言模型，以更简洁的推理方式进行知识编辑。在定量上，DeepEdit 在具有知识编辑任务的挑战性多跳问答数据集 MQuaKE 上取得了显著的性能提升。我们在此 https URL 上发布了源代码。

Jan, 2024

大语言模型内部化了巨大的参数知识，在预训练期间。然而，逼真的应用需要外部的背景知识来帮助模型在底层任务上。本研究提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以确定是否发生知识冲突并解决它们。它可以提高模型对相冲突背景的忠实度，同时在非冲突领域保持高性能。我们的实验表明，COIECD 在现实数据集中表现出较强的性能和鲁棒性。代码可用。

Feb, 2024

知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识，我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识，提出了一个简单的分类器 RepReg，它可以在有限的训练样本下实现接近最优的性能。

May, 2024

该研究提出了一种名为 RECKONING 的方法，通过双层学习算法将上下文知识整合到模型参数中，从而使语言模型更加强健，具有更好的推理能力和抗干扰性，从而提高了其多跳推理数据集的性能。

May, 2023

该论文提出了一种名为 DISCO 的新框架，可以使用大规模语言模型生成高质量的反事实数据，并借助特定于任务的老师模型过滤生成，以提高模型的稳健性和泛化性能。实验结果表明，使用这种方式进行学习，学生模型的鲁棒性和跨分布能力比基线提高了 6%（绝对）和 5%。

Dec, 2022

本研究实现了一种多级知识蒸馏方法，将自监督学习与基于语言模型的强制学习相结合，以生成新颖的 OoD 检测方案，并在多个基准数据集上实现了最新的性能。

Nov, 2022

通过一种名为 KID 的基于强化学习的算法，将外部知识动态地注入到生成语言模型的解码过程中，以解决语境相关性和事实准确性的问题，进而在多种知识密集型自然语言生成任务中体现出比许多优化后的模型更好的性能表现。

Apr, 2022