通过TriPosT训练算法，这篇论文介绍如何赋予更小的模型自我改进的能力，从而减小大型语言模型与成本效益更高、运行更快的模型之间的性能差距，并且通过与大型语言模型进行互动，收集反馈和改进，并将这一经验用于训练小模型，实验证明通过学习和纠正自己的错误对于小模型改进性能至关重要。

Oct, 2023

通过精心设计的训练数据、详细分析数学推理中的错误类型并构建了一个自检修正数据集，本研究旨在增强大型语言模型的自检能力，从而提高自我修正的准确性。在与其他检查-修正数据相关的情境中，使用“Step CoT Check”提示进行微调的模型表现更好，提供更精确的反馈，从而达到更高的正确率。

Feb, 2024

通过自我评审流程，大型语言模型（LLMs）能够在保持语言能力的同时提升数学问题解决能力，从而有效增强LLMs在实际应用中的性能。

Apr, 2024

在小型语言模型上进行自我纠正训练以提高推理能力，通过使用正确解决方案引导模型对不正确的回答进行批判，并使用生成的批评经过筛选后进行自我纠正理由的监督微调，实验证明在数学和常识推理方面的五个数据集上两种模型的自我纠正能力得到了提升，与GPT-4基于验证器的强配对时取得了显著的性能提升，但使用弱自验证器来确定何时进行更正存在一定的限制。

Apr, 2024

大型语言模型(LLMs)的内在自我纠正能力受到了研究，然而，通过掩盖问题中的关键条件，添加当前答案构建验证问题，并预测条件以验证答案的简单但有效的验证方法，提出了逐步识别和纠正可能的错误响应的迭代验证-纠正框架，命名为ProCo。与自我纠正相比，ProCo在三种推理任务中的性能明显提高。

May, 2024

我们通过定义四个评估任务，并设计多样的提示来全面评估十一种代表性的LLM模型，从考官的角度出发，为错误识别和修正提供了新的数据集和注释的错误类型和步骤。研究结果表明GPT-4在所有模型中表现最佳，而开源模型LLaMA-2-7B的能力与闭源模型GPT-3.5和Gemini Pro相当。尤其是计算错误被证明是最具挑战性的错误类型。此外，使用错误类型提示LLM可以将平均修正准确率提高47.9%。这些结果揭示了开发LLM的数学推理能力的潜在方向。

Jun, 2024

该研究解决了现有的大规模语言模型在数学推理任务中缺乏全面基准测试的问题。通过比较七种最先进的学习算法在五个广泛使用的数学数据集上的表现，研究揭示了大型基础模型在数学推理中的独立性能及其效率与效果之间的权衡。研究结果为教育等实际应用提供了重要的指导。

Aug, 2024

本研究解决了现有大型语言模型在数学问题求解中的局限性，尤其是对训练数据的过度依赖。提出了一种新颖的方法，通过代码基础的评论模型引导数据构建和质量控制，探索不同的对齐算法以实现模型的持续改进。实验结果显示，所提方案在英文和中文的各项基准测试中显著提高了模型的泛化能力。

Aug, 2024

该研究解决了大型语言模型在数学推理中的自我修正能力不足的问题。提出了一种称为S$^3$c-Math的数学LLM系列，能够自发地进行逐步自我修正，识别并纠正推理过程中的错误，从而提升推理的可靠性。研究结果显示，该方法在GSM8K、MATH等数学基准测试中表现显著优越，推动了LLM在数学推理领域的进步。

Sep, 2024

本研究解决了大语言模型在复杂任务（如数学和代码推理）中一致性和准确性不足的问题。通过生成多个推理路径并引入验证器评估和排序输出的正确性，提出了一种新的协作方法结合了逐步推理和可执行程序推理。实验结果表明，该方法显著提升了推理验证的准确性和可靠性，潜在地推动了现有大语言模型的性能。

Oct, 2024