DIEKAE：大规模语言模型高效知识增强与编辑的差异注入

Jun, 2024

DIEKAE：大规模语言模型高效知识增强与编辑的差异注入

DIEKAE: Difference Injection for Efficient Knowledge Augmentation and Editing of Large Language Models

Alessio Galatolo, Meriem Beloucif, Katie Winkle

TL;DR本文介绍了一种将外部知识注入到预训练语言模型中的新方法，通过采用一系列编码器，将外部知识处理和注入到预训练语言模型层，从而显著减少计算成本并提高模型性能。与其他多种方法相比，在知识扩充和编辑的训练和推理过程中，我们的方法更快且更高效。

Abstract

pretrained language models (PLMs) store extensive knowledge within their weights, enabling them to recall vast amount of information. However, relying on this parametric knowledge brings some limitations such as outdated information or gaps in the training data. This work addresses the

pretrained language models knowledge editing knowledge augmentation difference injection for efficient knowledge augmentation and editing encoders

发现论文，激发创造

KILM：编码器 - 解码器语言模型中的知识注入

本文提出一种名为 KILM 的方法，在不修改预训练语言模型结构或添加参数的情况下，通过一种生成式知识补充目标，将实体相关的知识注入到编 - 解码预训练语言模型中，实验结果表明，KILM 可以使模型保持更多的知识并且在零样本学习的情况下取得更好的性能。

Feb, 2023

DKPLM：用于自然语言理解的可分解知识增强预训练语言模型

本文介绍了一种新颖的预训练语言模型 DKPLM，它通过解耦知识注入过程的不同阶段，利用基于相关知识三元组的伪标记表示替换长尾实体嵌入，以及设计关系知识解码任务，使得模型在零样本知识探测任务和多种知识感知语言理解任务中表现优异且具有更高的推理速度。

Dec, 2021

预训练语言模型的即插即用知识注入

本研究提出了一种新的知识注入方法 -- 插拔式知识注入，并探究了一种新的注入方法 ——map-tuning，并通过三种不同的 NLP 任务验证了 map-tuning 方法的有效性，再次表明了插拔式知识注入的优越性。

May, 2023

将知识与参数解耦，实现即插即用式语言建模

本文介绍了一种用可编辑、可扩展的键值存储器与不可编辑的模型参数分离的 PlugLM 预训练模型，并在三个不同的场景下进行了评估，证明了该设计选择的合理性。

May, 2023

DeepEdit: 知识编辑作为带约束的解码

我们提出了一种新的知识编辑视角，称之为基于约束的解码，在大型语言模型中进行。我们提出了 DeepEdit（一种基于深度优先搜索的渐进解码知识编辑的神经符号方法），该方法通过更好的推理连贯性、与问题的相关性以及对更新知识的认知来提高知识编辑。DeepEdit 可以灵活应用于所有黑盒语言模型，不需要访问模型参数、表示或输出词汇分布。DeepEdit 逐步产生高质量的推理步骤，以实现有效的知识编辑。它利用深度优先搜索来修订语言模型的输出，从而提高对输入问题的信息量和对更新知识的认知。在定性上，DeepEdit 能够有效控制语言模型，以更简洁的推理方式进行知识编辑。在定量上，DeepEdit 在具有知识编辑任务的挑战性多跳问答数据集 MQuaKE 上取得了显著的性能提升。我们在此 https URL 上发布了源代码。

Jan, 2024

通过合成文本生成实现差分隐私知识蒸馏

利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

Mar, 2024

将领域知识注入语言模型以用于面向任务的对话系统

本研究中，我们使用轻量级 adapters 来注入特定领域的知识以在 TOD 任务上进行微调，通过 KPRS 探测方法证明 adapters 对于对话生成任务有着优秀的表现。

Dec, 2022

对比知识解码：提高理解性语言模型对经过编辑事实的信心

通过对上下文新知识的影响进行分析，我们观察到虽然新知识的 logits 显著提升，但由于顽固的知识的存在，in-context editing 的性能仍然受到限制。为了解决这个问题并进一步提高 in-context editing 的性能，我们提出了一种新的方法，称为 DeCK，它通过对比由 in-context editing 引导的新编辑知识和未编辑参数化知识获得的 logits 来导出下一个 token 的分布。实验结果一致表明，DeCK 增强了 LLMs 对编辑事实的置信度，为开发 LLMs 的有效和可追溯的知识编辑方法铺平了道路。

May, 2024

基于语言模型的知识图谱嵌入编辑

本研究提出了一种新的任务，即在不影响其余表现的情况下编辑语言模型 KG 基础嵌入，并构建了四个新数据集来评估多个知识编辑基线和一种名为 KGEditor 的新方法，其利用超级网络的其他参数层来编辑和添加事实，实验结果表明 KGEditor 可以在具有低训练资源但需要更新特定事实的情况下表现更好。

Jan, 2023

预训练语言模型的知识继承

介绍了一种新的预训练框架 —— 知识遗传，并研究了如何在预训练过程中使用知识蒸馏作为辅助监督来高效地学习更大的预训练语言模型，并证明了知识遗传在训练效率方面的卓越表现，同时探索了教师 PLMs 的预训练设置对知识遗传的影响和如何应用知识遗传进行领域适应和知识转移。

May, 2021