LLMs 检索增强的连续提示学习中的终身知识编辑

May, 2024

LLMs 检索增强的连续提示学习中的终身知识编辑

Lifelong Knowledge Editing for LLMs with Retrieval-Augmented Continuous Prompt Learning

Qizhou Chen, Taolin Zhang, Dongyang Li, Longtao Huang, Hui Xue...

TL;DRRECIPE 是一种 RetriEval-augmented ContInuous Prompt Learning 方法，旨在提高模型编辑效果和推理效率，通过将知识语句转换为短且信息丰富的连续提示，并与知识哨兵（KS）结合使用，进一步集成检索器和提示编码器，实现在模型编辑中的可靠性、普适性和局部性。在多个大型语言模型和编辑数据集上的广泛实验中，RECIPE 取得了出色的编辑性能，并展示了快速编辑和推理速度，同时保持了大型语言模型的整体性能。

Abstract

model editing aims to correct outdated or erroneous knowledge in large language models (LLMs) without the need for costly retraining. Lifelong model editing is the most challenging task that caters to the continuous editing requirements of LLMs. Prior works primarily focus on single or

model editing lifelong learning knowledge retrieval editing efficacy inference efficiency

发现论文，激发创造

检索增强的多语言知识编辑

多语言知识编辑通过检索增强的方式，有效地更新大型语言模型中的新知识，较传统的微调方法具有更高性能和多语言适用性。

Dec, 2023

WISE: 对大规模语言模型的终身模型编辑的知识记忆的重新思考

这篇论文提出了一种名为 WISE 的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。

May, 2024

大型语言模型的知识编辑综合研究

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

学习编辑：将语言模型与知识编辑对齐

知识编辑技术在大型语言模型中的应用及性能表现。

Feb, 2024

语言模型中的多跳问题回答的检索增强知识编辑

用于多跳问题回答的检索增强模型编辑框架（RAE）利用相互信息最大化的检索方法和修剪策略来提供精确的答案和更新的知识。

Mar, 2024

大规模语言模型的鲁棒可扩展模型编辑

利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

Mar, 2024

LEMoE：面向大型语言模型的先进的专家混合适配器，用于终身模型编辑

LLMs require continual knowledge updates, and this paper introduces LEMoE, an advanced MoE adaptor for lifelong model editing, addressing issues like catastrophic forgetting and inconsistent routing, with experimental results demonstrating its effectiveness.

Jun, 2024

检索增强的视觉提示学习用于少样本分类

本论文提出了一种检索增强的提示学习方法（RePrompt），通过引入检索机制来对下游任务进行知识表示的缓存，该方法在 15 个视觉数据集上进行了广泛实验，包括 11 个在少样本设置下的下游任务和 4 个域泛化基准，在处理领域差异增加时取得了明显的改进。

Jun, 2023

通过即插即用检索反馈改进语言模型

本文提出了一种名为 ReFeed 的新型管道，通过提供自动检索反馈，以更高效和经济的方式改善大语言模型的输出，并在零样本和少样本设置下显著提高结果。

May, 2023

通过高效微调进行时间敏感知识编辑

通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

Jun, 2024