AAAIDec, 2023

历史重要性：大型语言模型的时间知识编辑

PDF
TL;DR通过引入时间知识编辑（TKE）任务和建立一个评估当前模型编辑方法的基准 AToKe（Temporal Knowledge Editing 的评估）来解决现有模型编辑方法在记住新知识方面有效，但对历史知识遗忘严重的问题。为了解决这个问题，我们提出了一个简单且通用的框架 METO（Multi-Editing with Time Objective），用于增强现有的编辑模型，同时编辑历史知识和新知识，并优化模型对每个事实的时间预测。我们的评估表明，虽然 AToKe 仍然困难，但 METO 保持了学习新知识的有效性，同时显著提高了编辑模型在利用历史知识方面的性能。
发现论文，激发创造
  • 通过高效微调进行时间敏感知识编辑

    通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

    Jun, 2024

  • 大型语言模型中的稳定知识编辑

    通过知识增强而非知识定位，我们引入了一种名为 StableKE 的方法，它包括语义改写增强策略和上下文描述丰富策略，可以编辑 ChatGPT 中的知识，并且展示了对编辑后的知识和多跳知识的稳定性，同时保留了不相关的知识和通用功能。

    Feb, 2024

  • 多跳问题回答在时间知识编辑下的应用

    多跳问题回答（MQA）与知识编辑（KE）相结合的研究引起了广泛关注，然而现有的 MQA 模型在处理带有明确时间背景的问题时性能较差。为了解决这一限制，我们提出了一种新的框架，即 TEMPLE-MQA，通过构建时间感知图（TAG）来有效区分问题查询中的时间背景，并通过推理路径、结构检索和联合推理阶段来增强多跳问题回答。在基准数据集上的实验证明，TEMPLE-MQA 明显优于基准模型。此外，我们还贡献了一个新的数据集，即 TKEMQA，它专门针对具有时间范围的多跳问题回答领域。

    Mar, 2024

  • 大型语言模型的知识编辑综合研究

    大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

    Jan, 2024

  • MQuAKE: 通过多跳问题评估语言模型中的知识编辑

    本文探讨了在大型语言模型中注入新事实的技术，并提出了一个包含多跳问题的基准测试 MQuAKE，旨在评估修改后的模型是否能够正确回答受编辑事实影响的问题。我们提出了一个名为 MeLLo 的基于记忆的方法，存储所有编辑过的事实，并提示语言模型根据编辑后的事实迭代生成与之一致的答案。MeLLo 在大型语言模型（高达 175B）中具有良好的可扩展性和超过以往模型编辑器的性能。

    May, 2023

  • 通过关系视角评估语言模型中的知识编辑

    该研究构建了一个名为 RaKE 的基准，专注于基于关系的知识编辑，并通过创新的评估指标和全面的实验研究，确认了关系在事实三元组中的作用，为未来的基于关系的知识编辑方法提供了实验支持。

    Nov, 2023

  • 检索增强的多语言知识编辑

    多语言知识编辑通过检索增强的方式，有效地更新大型语言模型中的新知识，较传统的微调方法具有更高性能和多语言适用性。

    Dec, 2023

  • 检测语言模型中的编辑知识

    知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识，我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识，提出了一个简单的分类器 RepReg，它可以在有限的训练样本下实现接近最优的性能。

    May, 2024

  • MLaKE：大型语言模型的多语言知识编辑基准

    通过多个语言中的多跳推理和单跳问题，MLaKE（多语言语言知识编辑）评估了知识编辑方法在多语言环境下的适应性，发现现有方法在英语样本上表现较好，但在多语言实验中的泛化能力有限，强调了多语言知识编辑的发展需求。

    Apr, 2024

  • 事件级知识编辑

    知识编辑通过在大型语言模型中更新知识来防止其过时。本文提出一种新的任务设置：事件级别知识编辑，通过将新事件直接编辑到大型语言模型中来改进传统的三元组级别编辑。我们构建了一个高质量的事件级别编辑基准 ELKEN，其中包括 1,515 个事件编辑、6,449 个关于事实知识的问题和 10,150 个关于未来趋势的问题。我们系统评估了各种知识编辑方法和大型语言模型在这个基准上的性能，并发现 ELKEN 对现有知识编辑方法提出了显著挑战。我们的代码和数据集已公开发布，以促进进一步的研究。

    Feb, 2024