通过两个关键改进（优化条件似然和数据增强），研究表明纯粹的微调在模型编辑中是可行的，并经常能够与专门的编辑器达到或超过编辑分数。

Feb, 2024

介绍了一种基于 Semi-Parametric Editing with a Retrieval-Augmented Counterfactual Model (SERAC) 的模型编辑方法，具备内存高、编辑表达能力强的特点，能够高效地处理基于问答、事实核查和对话生成的 3 种具有挑战性的语言模型编辑问题。

Jun, 2022

本研究在 Encoder-Decoder transformer 模型中提出了 4 种编辑任务，并展示了这种直接干预方法的高效性，只需一个有效实例就能修复错误的负面模型行为。

Nov, 2022

本研究验证了常识知识模型可以通过训练少量样例快速适应共现的常识知识表示能力，并发现有关该接口是如何学习的新见解。

Jan, 2021

本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

Sep, 2022

通过使用适配器进行微调，我们可以改善大型语言模型在机器翻译方面的性能，并减少训练参数量，同时保持微调模式的效果，解决了少样本学习和过度生成的问题。

Oct, 2023

人工编辑语言模型的知识注入对语义的一致性要求较高，现有的基准数据集无法充分评估一致性，本文创建了 TAXI 基准数据集，并使用它评估了流行编辑器的一致性表现，发现编辑器的一致性明显低于人类基准，且在编辑非典型主题时更易实现一致性。

Apr, 2024

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

本研究介绍了一种系统的数据集修剪方法，通过测量语句间的距离和词频分布的协变距离，筛选出 10500 个有效的样本，经过微调 ELECTRA 的训练可达到比使用全部 87000 个样本训练的模型更好的性能。

Apr, 2023

通过优化任务提示和生成多样化的链式推理和知识，该研究在 ProtoQA 数据集上实现了新的高分，并提供了对大型语言模型的解释，为自然语言处理社区提供了更好的提示开发和更复杂推理任务的潜能探索。

Sep, 2023