上下文编辑：从自引导分布中学习知识

Jun, 2024

上下文编辑：从自引导分布中学习知识

In-Context Editing: Learning Knowledge from Self-Induced Distributions

Siyuan Qi, Bangcheng Yang, Kailin Jiang, Xiaobo Wang, Jiaqi Li...

TL;DR已有的语言模型微调范式在知识编辑场景下容易出现脆弱性，本文提出了一种名为一致上下文编辑（ICE）的新方法，利用模型的上下文学习能力来调整模型以适应上下文分布而非单一目标，通过直观的优化框架增强了梯度调整方法的鲁棒性和效果，实验证明了 ICE 的优势及其在不断编辑中的潜力，确保了更新的信息被纳入同时保持模型的完整性。

Abstract

The existing fine-tuning paradigm for language models is brittle in knowledge editing scenarios, where the model must incorporate new information without extensive retraining. This brittleness often results in overfitting, reduced performance, and unnatural language generation. To addr

fine-tuning paradigm knowledge editing consistent in-context editing in-context learning continual editing

发现论文，激发创造

我们是否可以通过上下文学习来编辑事实知识？

通过在不更新参数的情况下展示上下文，利用 in-context learning (editing) 的策略可以达到和梯度下降方法相当的 GPT 大型语言模型知识编辑效果。

May, 2023

对比知识解码：提高理解性语言模型对经过编辑事实的信心

通过对上下文新知识的影响进行分析，我们观察到虽然新知识的 logits 显著提升，但由于顽固的知识的存在，in-context editing 的性能仍然受到限制。为了解决这个问题并进一步提高 in-context editing 的性能，我们提出了一种新的方法，称为 DeCK，它通过对比由 in-context editing 引导的新编辑知识和未编辑参数化知识获得的 logits 来导出下一个 token 的分布。实验结果一致表明，DeCK 增强了 LLMs 对编辑事实的置信度，为开发 LLMs 的有效和可追溯的知识编辑方法铺平了道路。

May, 2024

在上下文中的学习蒸馏：转移预训练语言模型的少样本学习能力

通过 in-context learning distillation 技术，将大型已预训练的语言模型的能力转移至小型模型，同时结合语言建模目标，提高了多任务学习和少样本学习的性能，实验结果表明，多任务学习下拥有语言建模目标的 in-context learning objectives 可以取得最佳效果。

Dec, 2022

BMIKE-53：探索带上下文学习的跨语言知识编辑

以 53 种不同的语言为基础，评估跨语言知识编辑的 BMIKE-53 基准的多语言上下文知识编辑（MIKE）方法，提供了关于可靠性、普适性、局部性和可移植性的重要见解和框架，为跨语言知识编辑的未来研究奠定了基础。

Jun, 2024

上下文指导学习

本文发现采用上下文学习作为指示学习方法（ICIL）可提高预训练和指示微调模型的零样本任务泛化能力，使用固定的单一提示来评估所有任务。

Feb, 2023

InstructEdit：用于大型语言模型的指令基础知识编辑

大规模语言模型的知识编辑可以提供一种有效的解决方案，以改变模型的行为而不会对整体性能产生负面影响。为了解决当前方法在任务上的有限泛化能力的问题，我们采取了第一步来分析知识编辑中的多任务泛化问题。具体而言，我们开发了一种基于指令的编辑技术，称为 InstructEdit，它通过简单的指令同时促进编辑器对不同任务性能的适应。通过仅使用一个统一的编辑器为每个大规模语言模型，我们经验证明 InstructEdit 可以提高编辑器的控制能力，在多任务编辑设置中可平均提高 14.86％的可靠性。此外，涉及未见任务的实验表明 InstructEdit 始终优于先前的强基准。为了进一步研究基于指令的知识编辑的基本机制，我们分析了编辑梯度方向的主要成分，发现指令可以帮助控制具有更强的无法覆盖的泛化能力的优化方向。代码和数据集将在此 https URL 中提供。

Feb, 2024

基于监督和自组织的上下文学习任务表现和模型校准

探索了标准的有监督微调（SFT）和上下文学习（ICL）两种方法在低资源环境中存在的过度自信和误校准问题，提出了使用自我集成技术来增强预测校准性和性能，为选择学习范式以及如何提升大语言模型的任务性能和校准性提供了具体指导。

Dec, 2023

操纵标签空间进行上下文分类

在这项研究中，我们提出了两种策略，即标签分布增强和视觉描述增强，以提高多样数据集上的上下文分类性能，包括经典的 ImageNet 和更细粒度的数据集，如 CUB-200。具体而言，我们的方法在 ImageNet 上将准确率从 4 次迭代中的 74.70％提高到仅需要 2 次迭代即可达到 76.21％，超过 CLIP 0.67％。在 CUB-200 上，我们的方法将 1 次迭代的准确率从 48.86％提高到 69.05％，比 CLIP 高出 12.15％。

Dec, 2023

大型语言模型中的稳定知识编辑

通过知识增强而非知识定位，我们引入了一种名为 StableKE 的方法，它包括语义改写增强策略和上下文描述丰富策略，可以编辑 ChatGPT 中的知识，并且展示了对编辑后的知识和多跳知识的稳定性，同时保留了不相关的知识和通用功能。

Feb, 2024

优化上下文示例：是否为 NICE 的？

大型语言模型通过上下文学习与优化可以在广泛的任务上取得显著效果，然而，该研究调查了当提供任务特定指令时，优化上下文示例的必要性，并发现对于某些任务，对上下文示例进行优化产生递减收益，为此引入了用于测量任务可学习性的度量方法，从而提供了一种启发式方法，帮助决定针对任何新任务是优化指令还是优化上下文示例。

Feb, 2024