自校正的理论认识与上下文对齐

May, 2024

A Theoretical Understanding of Self-Correction through In-context Alignment

Yifei Wang, Yuyang Wu, Zeming Wei, Stefanie Jegelka, Yisen Wang

TL;DR基于一种类似于对齐任务的简化设置，我们从上下文学习的角度对自我纠正进行理论分析，显示出大语言模型通过给予相对准确的自我检查作为奖励，能够以上下文的方式改进响应。我们的理论构建突破了之前关于过于简化的线性变换器的理论，阐述了现实变换器的几个关键设计在自我纠正中的作用：softmax 关注、多头关注和 MLP 块。经过广泛的合成数据集验证，我们进一步阐述了自我纠正的新应用，例如抵制大型语言模型越狱，其中简单的自我纠正步骤确实产生了很大的差异。我们相信这些发现将激发进一步研究自我纠正的理解、利用和增强，以构建更好的基础模型。

Abstract

Going beyond mimicking limited human experiences, recent studies show initial evidence that, like humans, large language models (LLMs) are capable of improving their abilities purely by self-correction, i.e., cor

large language models self-correction in-context learning softmax attention mlp block

发现论文，激发创造

大型语言模型尚未能够自校正推理

本文探讨了自我纠错在大型语言模型中的作用和效果，发现大型语言模型在没有外部反馈的情况下难以自我纠正其回应，在某些情况下，性能甚至可能在自我纠正后下降。基于这些发现，提出了未来研究和实际应用的建议。

Oct, 2023

关于 LLMs 的内在自我修正能力：不确定性和潜在概念

通过使用适当的指示，大型语言模型可以利用内在的自我纠正能力，从而提高其回答的准确性和性能，这在大规模自然语言生成中具有潜在的扩展性。同时，通过分析模型不确定性和激活的潜在概念，可以更好地理解和指导自我纠正行为。此原理还可以推广到视觉语言模型，并且在任务无关的去偏领域有潜在的应用价值。

Jun, 2024

LLM 能够自我纠错的实际时机研究：对 LLM 自我纠错的关键调查

通过对大型语言模型（LLMs）进行自我纠正来提高其回答效果是一种改进方法。本文对自我纠正的研究条件进行了关键性调查，发现以往研究往往缺乏详细定义的研究问题，使用非实用的框架和过度评估自我纠正。通过对新分类的研究问题进行关键性调查，我们发现：（1）以提示的 LLMs 反馈进行自我纠正的先前工作没有成功的示例；（2）自我纠正在可以使用可靠的外部反馈的任务中效果良好；（3）大规模微调可以实现自我纠正。

Jun, 2024

大型语言模型具有内在的自我纠正能力

大型语言模型具有在各种自然语言处理任务中引人注目的能力，但它们存在产生错误信息的问题，自校正被视为提高模型性能的一种解决方案，其中内在自校正被认为是一种有前途的方向。本文通过理论分析和实证实验，对大型语言模型的内在自校正能力提出了新的观点，并确定了两个关键因素：零温度和公正提示，利用这些因素证明内在自校正能力存在于多个现有大型语言模型中。我们的发现揭示了大型语言模型自我纠正行为的基本原理，并强调在发挥其全部潜力上公正提示和零温度设置的重要性。

Jun, 2024

自动修正大规模语言模型：多样化自我纠正策略概述

大语言模型自我修正的技术，包括训练和生成阶段的自动反馈，被广泛应用于解决大语言模型在自然语言处理任务中的错误和缺陷问题。

Aug, 2023

信心的重要性：重审大型语言模型的内在自我纠正能力

研究综合调查了大型语言模型（LLM）的内在自我修正能力，并提出了一种基于 “confidence” 的 “If-or-Else” 提示框架，以帮助提升自我修正能力的准确性。

Feb, 2024

关于自我纠正和语言模型信任的交叉问题

通过探索大型语言模型的自我纠正能力，研究发现自我纠正能够提升大型语言模型的可信度和真实性，但这种改进程度会根据可信度的具体方面和任务的性质而有所不同，并发现大型语言模型在自我纠正过程中存在自我怀疑的实例，带来了一系列需要解决的新挑战。

Nov, 2023

大型语言模型可轻松自我修正

大型语言模型 (LLMs) 的内在自我纠正能力受到了研究，然而，通过掩盖问题中的关键条件，添加当前答案构建验证问题，并预测条件以验证答案的简单但有效的验证方法，提出了逐步识别和纠正可能的错误响应的迭代验证 - 纠正框架，命名为 ProCo。与自我纠正相比，ProCo 在三种推理任务中的性能明显提高。

May, 2024

小型语言模型需要强大的验证器来自我修正推理

在小型语言模型上进行自我纠正训练以提高推理能力，通过使用正确解决方案引导模型对不正确的回答进行批判，并使用生成的批评经过筛选后进行自我纠正理由的监督微调，实验证明在数学和常识推理方面的五个数据集上两种模型的自我纠正能力得到了提升，与 GPT-4 基于验证器的强配对时取得了显著的性能提升，但使用弱自验证器来确定何时进行更正存在一定的限制。

Apr, 2024

利用大型语言模型作为事后校正器

通过我们提出的无需训练的框架 LlmCorr，本研究表明大型语言模型（LLMs）可以作为后续校正器，以最小的成本提出对任意机器学习模型预测的修正建议，并通过实验证明 LlmCorr 可将多种模型的性能提高高达 39%。

Feb, 2024