Jan, 2024

传播与陷阱：通过反事实任务进行基于推理的知识编辑评估

PDF
TL;DR当前的知识编辑方法在有效传播互联事实的更新方面存在困难。本研究深入探讨了在准确推理中妨碍更新知识适当传播的障碍。为了支持我们的分析，我们引入了一个新颖的基于推理的基准测试 - ReCoE（基于推理的反事实编辑数据集），其中涵盖了真实世界中的六个常见推理方案。我们对包括输入增强、微调和定位 - 编辑在内的现有知识编辑技术进行了彻底分析。我们发现，所有模型编辑方法在这个数据集上显示出明显的低性能，特别是在某些推理方案上。通过对编辑模型思维链的分析，我们从推理的角度揭示了现有知识编辑方法不足的关键原因，涉及到对事实的编辑，事实回忆能力和生成连贯性方面。我们将公开提供我们的基准测试。
knowledge editingpropagation of updated knowledgereasoning-based benchmarkknowledge editing techniqueschain-of-thought generation
发现论文，激发创造
  • 通过关系视角评估语言模型中的知识编辑

    该研究构建了一个名为 RaKE 的基准，专注于基于关系的知识编辑，并通过创新的评估指标和全面的实验研究，确认了关系在事实三元组中的作用，为未来的基于关系的知识编辑方法提供了实验支持。

    Nov, 2023

  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • 验证和编辑：一种知识增强的思维链框架

    本文提出了一种用于 CoT 提示的 Verify-and-Edit 框架，通过使用外部知识来编辑推理链以提高其准确性，改善了大语言模型中存在的缺陷，实现了在多个开放型问题回答任务中的准确度提升。

    May, 2023

  • 大规模基于记忆的模型编辑

    介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

    Jun, 2022

  • 知识图谱嵌入的反事实推理

    通过新任务 CFKGR，本文将知识图嵌入（KGEs）与反事实推理关联起来，通过逻辑规则从知识图推断出合理的变化，建立了相应的基准数据集，并开发了 COULDD 方法来适应假设前提。结果表明，KGEs 可以学习图中的模式，与 COULDD 相结合能够检测到沿用这些模式的合理反事实变化，但对不符合学习推理规则的变化无法识别。

    Mar, 2024

  • 无监督对抗故事编辑

    提出了一种基于 EDUCAT 的反事实故事重写的无监督方法，该方法包括基于对 what-if 条件的因果效应估计来检测目标位置的策略，然后在流利性、连贯性和最小编辑约束条件下生成故事。在公共反事实故事重写基准测试上的评估表明，EDUCAT 实现了最佳的平衡点，能够在自动和人工评估中胜过无监督的 SOTA 方法。

    Dec, 2021

  • 检测语言模型中的编辑知识

    知识编辑技术可以更新语言模型从预训练中学到的过时或不准确的知识，我们通过引入一个新的任务来研究如何检测语言模型中的编辑知识，提出了一个简单的分类器 RepReg，它可以在有限的训练样本下实现接近最优的性能。

    May, 2024

  • 编辑语言模型中的事实知识

    本文介绍 KnowledgeEditor 一种方法，用于编辑语言模型中的知识，以修复 “错误” 或意外预测，且不需要重新训练或以元学习为前提条件。作者使用受约束的优化来训练一个超网络，该超网络可预测权重更新。作者展示了 KnowledgeEditor 的有效性，其支持两种流行的体系结构和知识密集型任务：一种是针对事实核对进行细微调整的 BERT 模型，另一种是适用于问答的序列到序列 BART 模型。

    Apr, 2021

  • 神经网络知识编辑调查

    深度神经网络在学术界和工业界越来越普遍，在各个领域和相关任务上与人类的表现相媲美甚至超越。然而，即使是最大的人工神经网络也会出错，随着时间的推移，曾经正确的预测可能会失效。通过在数据集中增加考虑错误或最新信息的样本，可以解决这个问题。然而，灾难性遗忘现象对于改变神经网络参数中的隐性记忆知识以达到精确变化提出了挑战，通常需要重新训练整个模型才能实现所需的行为。这种方法昂贵、不可靠，并且与大规模自监督预训练的现行趋势不兼容，因此有必要找到更高效和有效的方法来适应变化的数据。为了满足这个需求，知识编辑作为一个新颖的研究领域正在兴起，旨在实现对预训练目标模型的可靠、数据高效和快速的变化，而不影响先前学到的任务上的模型行为。在本综述中，我们对这个最新的人工智能研究领域进行了简要回顾。首先，我们介绍了神经网络编辑的问题，在一个共同框架中对其进行了形式化，并将其与连续学习等更有名的研究分支进行了区分。接下来，我们对迄今为止提出的最相关的知识编辑方法和数据集进行了回顾，并将这些工作分为四个不同的类别：正则化技术、元学习、直接模型编辑和架构策略。最后，我们概述了与其他研究领域的一些交叉点和未来的潜在方向。

    Oct, 2023

  • 反事实故事推理和生成

    本文提出了一种反事实的故事重写模型，用于通过改变故事的最小部分，使其与另一事件相容，并介绍了一种新的可用于评估该模型的数据集 TimeTravel。

    Sep, 2019