May, 2023

在 GPT 中编辑常识知识

PDF
TL;DR该研究提出了 $MEMIT_{CSK}$，它是一种适用于常识知识的记忆编辑方法，并在 GPT-2 Large 和 XL 中进行了实验，优于调参方法 10.97％和 10.73％ F1 分数。结果表明，通过直接编辑模型来校正和定制模型行为，结合特定于上下文的用户反馈，可以将 $MEMIT_{CSK}$ 应用于 GPT 中的常识，而这一方法未来还有着很大的发展前景。
发现论文，激发创造
  • 变形金刚中的大规模内存编辑

    我们开发了 MEMIT 方法，直接更新带有许多记忆的语言模型，可以扩展到 GPT-J（6B）和 GPT-NeoX（20B）的成千上万的关联，超过以前的工作数个数量级。

    Oct, 2022

  • 部署后记忆辅助提示编辑以改进 GPT-3

    利用用户交互纠正 GPT-3 模型的错误，而无需进行重新训练。本文中提出了将 GPT-3 与一个不断增长的记录案例和用户反馈的记忆相结合的方法，以产生一个可查询该记忆进行错误纠正的系统。通过证明方法可以增强大型预训练语言模型的实用性，特别是在与用户交互时，已经部署的 GPT-3 的准确性可以得到大幅提高。

    Jan, 2022

  • 常识还是世界知识？研究基于 Adapter 的预训练 transformer 知识注入

    本文介绍了通过适配器训练在 BERT 的分布式知识基础上，将 ConceptNet 和其对应的 OMCS 语料库的概念知识注入到语言模型中以提高推理性能的方法。实验结果表明，适配器训练得到的模型在需要 ConceptNet 和 OMCS 所代表的概念知识进行推理的任务中表现显著优于 BERT。

    May, 2020

  • 伟大的真理总是简单的：一种相当简单的知识编码器，用于增强预训练模型的常识推理能力

    本文研究了如何通过增强预训练语言模型的知识感知图神经网络编码器来解决复杂的常识推理任务，并发现这种方法中的关系特征是主要的贡献因素。通过基于统计关系路径获取的特征设计一个简单的 MLP-based 知识编码器，不仅提高了 PTMs 的性能，而且还大大减少了编码 CSKGs 的参数。

    May, 2022

  • 通过高效微调进行时间敏感知识编辑

    通过研究发现，Parameter-Efficient Fine-Tuning (PEFT) 技术相较于定位和编辑方法，在时效性知识编辑方面表现更优，从而为大型语言模型的更新提供了一种替代方案。

    Jun, 2024

  • 扩展心智转换器

    预训练语言模型在推理时过长的输入会迅速成为记忆信息的瓶颈。本文提出了一种简单的方法，使用记忆转换器给模型提供预先计算的记忆库，通过批判性评估定位编码应如何更新以检索关键信息，而非使用外部嵌入。我们展示了在大多数解码器层中检索外部信息的重要性，并公开了一个新的反事实长距离检索基准。实验证明，扩展心智转换器在平均性能上超过了当今的最先进水平。

    Jun, 2024

  • WISE: 对大规模语言模型的终身模型编辑的知识记忆的重新思考

    这篇论文提出了一种名为 WISE 的方法，通过设计双参数记忆方案和知识分片机制，解决了大语言模型在终身模型编辑中的可靠性、泛化性和局部性之间的冲突，有效提升了问题回答、虚构和超越分布等任务的性能。

    May, 2024

  • 大型语言模型中的稳定知识编辑

    通过知识增强而非知识定位，我们引入了一种名为 StableKE 的方法，它包括语义改写增强策略和上下文描述丰富策略，可以编辑 ChatGPT 中的知识，并且展示了对编辑后的知识和多跳知识的稳定性，同时保留了不相关的知识和通用功能。

    Feb, 2024

  • 我们是否可以通过上下文学习来编辑事实知识？

    通过在不更新参数的情况下展示上下文，利用 in-context learning (editing) 的策略可以达到和梯度下降方法相当的 GPT 大型语言模型知识编辑效果。

    May, 2023

  • 大规模基于记忆的模型编辑

    介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

    Jun, 2022