AutoCV: 通过置信度变化实现自动过程标注的推理增强

May, 2024

AutoCV: 通过置信度变化实现自动过程标注的推理增强

AutoCV: Empowering Reasoning with Automated Process Labeling via Confidence Variation

Jianqiao Lu, Zhiyang Dou, Hongru Wang, Zeyu Cao, Jianbo Dai...

TL;DR我们提出了一种名为 AutoCV 的新方法，通过自动注释推理步骤来增强大型语言模型的推理能力。我们的方法通过训练一个验证模型来为最终答案的正确性评估生成自动过程注释，并且通过检测验证模型在推理步骤中的置信度变化来自动注释推理过程。我们的实验证明，验证模型学习到的置信度变化可以有效地识别推理步骤中的错误，并且通过 AutoCV 生成的过程注释可以提高验证模型在多个输出中选择正确答案的准确性。

Abstract

In this work, we propose a novel method named \textbf{Auto}mated Process Labeling via \textbf{C}onfidence \textbf{V}ariation (\textbf{\textsc{autocv}}) to enhance the reasoning capabilities of large language models (LLMs) by automatically annotating the →

autocv automated process labeling reasoning steps verification model confidence variation

发现论文，激发创造

AlphaMath 几乎接近零：无过程的过程监督

利用 Monte Carlo Tree Search (MCTS) 框架和大型语言模型 (LLMs) 自动生成解决步骤和评估信号，训练一个逐步价值模型以提高 LLM 在数学领域中的推理过程。实验证明，采用 LLMs 结合 MCTS 自动生成的解决方案显著提高了模型处理复杂数学推理任务的能力。

May, 2024

Lean 4 中的过程驱动自动格式化

我们提出了一个新的用于评估大型语言模型自动形式化能力的基准测试 Formalization for Lean 4（ ame），其中引入了一个基于过程监督的验证器（PSV）模型，通过利用 Lean 4 编译器的精确反馈来提高自动形式化，并展示了 PSV 方法在使用更详细的过程信息进行微调时，可更有效地利用数据，进一步提高了 Lean 4 的自动形式化。

Jun, 2024

AutoPRM：通过可控的问题分解自动化多步推理的过程监督

本研究提出了一种自监督框架 AutoPRM，通过将复杂问题分解为可管理的子问题，并应用强化学习迭代地改进子问题的求解器，从而显著提高了数学和常识推理任务的性能。

Feb, 2024

Reason2Drive：面向自动驾驶的可解释和链式推理

提出了一个用于自动驾驶的新数据集 Reason2Drive，其中包含了 600K 个视频文本对，以促进对复杂驾驶环境中可解释推理的研究。基于该数据集进行实验评估各种现有的视觉语言模型，并通过开发一种有效的方法来提高模型的推理准确性。

Dec, 2023

大型语言模型是具有自我验证功能的推理器

提出了一种名为自验证的方法，该方法使用推理链的结论作为条件建立新的样本，并要求大型语言模型重新预测原始条件，从而降低了多任务精度误差。经过大量实验验证，此方法可以使大型语言模型避免出现不正确的推理链干扰，并实现具有竞争力的推理性能，可用于算术和逻辑推理数据集的有限次学习。

Dec, 2022

通过自动流程监督来改善语言模型中的数学推理

我们提出了一种新颖的分而治之式蒙特卡洛树搜索（MCTS）算法 OmegaPRM，用于有效地收集高质量的过程监督数据，进一步提高了指导调优的 Gemini Pro 模型在数学推理性能上的成功率，相较于现有方法，我们的方法在财务和计算上都具有成本效益。

Jun, 2024

CAMELL：基于置信度的高效自监督主动学习与标签验证模型

CAMELL 是一种面向序列多输出问题的基于置信度的快速自我教育主动学习框架，通过仅令专家注释选定序列的一部分并利用自我监督和标签验证机制，提高了数据集的质量和模型性能。

Oct, 2023

通过帕累托最优自我监督实现大型语言模型的自动校准和误差修正

本文提出了一种 Pareto 最优的自我监督框架，该框架可以利用可用的程序监督来系统地校准 LLM 响应，为每个响应产生风险分数，从而不需要进行任何额外的人工努力。

Jun, 2023

通过验证器进行多步问题求解：基于模型引导的过程监督的实证分析

通过使用训练过的验证器评估推理器生成的中间步骤，过程监督在多步问题解决中展示出了显著的改进。为了避免在验证器训练数据上进行昂贵的人工注释，本文引入了一种新颖的自动化数据整理方法，即模型引导的过程监督（MiPS）。MiPS 通过对推理模型的解决方案的样本完成进行注释，并获得一个准确度，该准确度被定义为正确完成的比例，来注释中间步骤。推理器中的错误会导致 MiPS 低估中间步骤的准确度，因此我们建议并经验证明，与以往研究相反，应该优先选择验证器的高预测分数而不是低预测分数。我们的方法显著提高了 PaLM 2 在数学和编码任务上的性能（与输出监督训练的验证器相比，GSM8K 的准确度提高了 0.67％，MATH 的准确度提高了 4.16％，MBPP 的准确度提高了 0.92％）。此外，我们的研究表明，验证器在不同推理模型之间具有很强的泛化能力。

Feb, 2024

将语言模型与视觉实体识别连接

AutoVER 是一种用于视觉实体识别的自回归模型，通过使用检索增强的约束生成来扩展多模态大型语言模型，以解决在域外实体上表现不佳但在需要视觉定位推理的查询上表现出色的问题。该方法通过在与序列到序列目标并行训练的同时对困难的负样本对进行对比训练，学习区分庞大标签空间内的相似实体。在推理过程中，一系列检索到的候选答案通过删除无效的解码路径明确地指导语言生成。所提出的方法在最近提出的 Oven-Wiki 基准测试的不同数据集划分上取得显著改进，实体已见划分的准确率从 32.7% 提高至 61.5%。在未见和查询划分上也通过大幅度的两位数优势展示出卓越性能。

Feb, 2024