May, 2024

对比知识解码：提高理解性语言模型对经过编辑事实的信心

PDF
TL;DR通过对上下文新知识的影响进行分析，我们观察到虽然新知识的 logits 显著提升，但由于顽固的知识的存在，in-context editing 的性能仍然受到限制。为了解决这个问题并进一步提高 in-context editing 的性能，我们提出了一种新的方法，称为 DeCK，它通过对比由 in-context editing 引导的新编辑知识和未编辑参数化知识获得的 logits 来导出下一个 token 的分布。实验结果一致表明，DeCK 增强了 LLMs 对编辑事实的置信度，为开发 LLMs 的有效和可追溯的知识编辑方法铺平了道路。
in-context editingknowledge editingtoken-wise distributionsstubborn knowledgedeck
发现论文，激发创造
  • 通过对比解码增强大型语言模型中的上下文理解能力

    大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

    May, 2024

  • 上下文编辑：从自引导分布中学习知识

    已有的语言模型微调范式在知识编辑场景下容易出现脆弱性，本文提出了一种名为一致上下文编辑（ICE）的新方法，利用模型的上下文学习能力来调整模型以适应上下文分布而非单一目标，通过直观的优化框架增强了梯度调整方法的鲁棒性和效果，实验证明了 ICE 的优势及其在不断编辑中的潜力，确保了更新的信息被纳入同时保持模型的完整性。

    Jun, 2024

  • 我们是否可以通过上下文学习来编辑事实知识？

    通过在不更新参数的情况下展示上下文，利用 in-context learning (editing) 的策略可以达到和梯度下降方法相当的 GPT 大型语言模型知识编辑效果。

    May, 2023

  • BMIKE-53：探索带上下文学习的跨语言知识编辑

    以 53 种不同的语言为基础，评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑（MIKE）方法，提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架，为跨语言知识编辑的未来研究奠定了基础。

    Jun, 2024

  • 自适应令牌偏置器：通过对关键实体进行偏置来进行知识编辑

    通过引入自适应令牌偏置器（ATBias），提升了上下文编辑（ICE）性能，实现了编辑知识的能力，并在大型语言模型中广泛应用。

    Jun, 2024

  • 通过上下文信息熵约束的自适应解码来辨别和解决知识冲突

    大语言模型内部化了巨大的参数知识，在预训练期间。然而，逼真的应用需要外部的背景知识来帮助模型在底层任务上。本研究提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以确定是否发生知识冲突并解决它们。它可以提高模型对相冲突背景的忠实度，同时在非冲突领域保持高性能。我们的实验表明，COIECD 在现实数据集中表现出较强的性能和鲁棒性。代码可用。

    Feb, 2024

  • DeepEdit: 知识编辑作为带约束的解码

    我们提出了一种新的知识编辑视角，称之为基于约束的解码，在大型语言模型中进行。我们提出了 DeepEdit（一种基于深度优先搜索的渐进解码知识编辑的神经符号方法），该方法通过更好的推理连贯性、与问题的相关性以及对更新知识的认知来提高知识编辑。DeepEdit 可以灵活应用于所有黑盒语言模型，不需要访问模型参数、表示或输出词汇分布。DeepEdit 逐步产生高质量的推理步骤，以实现有效的知识编辑。它利用深度优先搜索来修订语言模型的输出，从而提高对输入问题的信息量和对更新知识的认知。在定性上，DeepEdit 能够有效控制语言模型，以更简洁的推理方式进行知识编辑。在定量上，DeepEdit 在具有知识编辑任务的挑战性多跳问答数据集 MQuaKE 上取得了显著的性能提升。我们在此 https URL 上发布了源代码。

    Jan, 2024

  • 大型语言模型的知识编辑综合研究

    大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

    Jan, 2024

  • 学习编辑：将语言模型与知识编辑对齐

    知识编辑技术在大型语言模型中的应用及性能表现。

    Feb, 2024

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024