通过两个关键改进（优化条件似然和数据增强），研究表明纯粹的微调在模型编辑中是可行的，并经常能够与专门的编辑器达到或超过编辑分数。

Feb, 2024

本文提出了一种通过多步编辑的方式，建立生成序列的生成模型，以及训练该模型的神经网络，并基于多步编辑提出了基础结果和度量标准。实验结果表明，所提出的模型在相关下游任务上的表现优于以往单步编辑模型的表现。

May, 2022

介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

Jun, 2022

本研究提出一种被称为 Transformer-Patcher 的神经网络模型，能够通过简单地添加和训练最后一层前馈网络中的少量神经元，连续纠正长序列中的错误，达到了顺序模型编辑（SME）的最优表现，解决了工业环境中部署的模型如何快速准确地修正错误问题。

Jan, 2023

提出使用预训练的 encoder-decoder 模型，通过 document to query generation 来进行重新排名，同时在推理时，将其分解为仅有 decoder 的语言模型以提高推理速度，实验结果表明该方法可以比传统的交叉注意模型快 6.8 倍，并且能取得相当的效果。

Apr, 2022

该研究探讨了神经网络的编辑问题，提出了 Editable Training，这是一种模型无关的训练技术，以便快速修补模型的错误，并在大规模图像分类和机器翻译任务中进行了实证研究。

Apr, 2020

本研究探讨预训练 - 微调框架中的微调阶段如何改变预训练神经语言生成模型的行为，发现标准微调后模型遗忘了某些重要的语言生成技巧，提出了一种直观的微调策略 “混合回顾”，能够缓解模型遗忘现象，最终讨论了对话模型的有趣行为及其含义。

Oct, 2019

提出了一个框架以训练非自回归序列到序列模型进行编辑任务，在此过程中，原始输入序列被迭代地编辑以生成输出。通过两种策略解决了在机器翻译训练的模仿学习算法在编辑场景下导致的训练和推断之间不匹配问题，从而显著提高了英文编辑任务上的输出质量和输出复杂度。

Mar, 2022

本研究扩大了模型编辑问题的范围，包括去偏和修正推理错误等各种编辑情况，并提出了自然语言表达为编辑的 DUnE 基准。通过大量实验证明，检索增强语言建模可以胜过专门的编辑技术，而两种方法都没有完全解决我们基准涵盖的广义编辑问题。

Nov, 2023

该论文提出一种名为 MEND 的模型编辑器网络，通过 Gradient Decomposition 技术学习将预训练模型快速地进行局部编辑，有效解决了大型神经网络模型的黑盒本质问题，为开发和终端用户提供了纠正不准确输出的 “后门”。

Oct, 2021