Jul, 2024

证明-验证游戏提高LLM输出的可读性

HTML
PDF
TL;DR通过使用可读性逐渐训练小验证器以提高大型语言模型（LLMs）的可读性和输出，以便在解决小学数学问题时提供清晰且易于检查的推理，这是一种增加对LLMs输出的信心的方法。
发现论文，激发创造
  • 利用语言模型进行定理证明的证明工件协同训练

    本文介绍了 PACT 的一般方法，通过自我监督学习从内核级证明术语中提取丰富的数据，以协同常规战术预测目标，以提高定理证明的成功率。

    Feb, 2021

  • 训练验证程序员解决数学应用题

    介绍一个8.5K高质量的语言多样的小学数学问题数据集GSM8K，表明即便是最大的变压器模型仍然无法在多步数学推理方面实现高的测试性能，提出使用verifiers验证模型的正确性并通过排名选择最优解来提高性能。

    Oct, 2021

  • LEGO证明器：具有增长库的神经定理证明

    LEGO-Prover使用技能库，通过模块化构建证明以及生成新技能，提高了大型语言模型在定理证明中的能力，并进一步推进了数学领域的研究。

    Oct, 2023

  • 通过互动演示教授语言模型自我提升

    通过TriPosT训练算法，这篇论文介绍如何赋予更小的模型自我改进的能力，从而减小大型语言模型与成本效益更高、运行更快的模型之间的性能差距，并且通过与大型语言模型进行互动，收集反馈和改进，并将这一经验用于训练小模型，实验证明通过学习和纠正自己的错误对于小模型改进性能至关重要。

    Oct, 2023

  • V-STaR：自主学习推理器的验证器训练

    通过使用DPO判断模型生成的正确和错误解，V-STaR提出了一种利用自我改进过程中生成的正确和错误解的方法，用于训练验证器，并在推理时从众多候选解中选择一种解，多次运行V-STaR可以逐渐提升推理能力和正确性，并在常见代码生成和数学推理基准中相较于现有的自我改进和验证方法提高了4％至17％的测试准确率。

    Feb, 2024

  • 借鉴失败：使用试错数据对直觉命题逻辑证明进行微调的LLM

    通过从失败的搜索路径中学习，我们展示了训练模型的益处。我们与仅使用正确路径训练的模型进行比较，并发现前者以更少的搜索次数解决了更多未见过的定理。

    Apr, 2024

  • DeepSeek-Prover: 通过大规模合成数据推进LLMs中的定理证明

    基于大规模合成数据，使用Lean 4 proof数据生成方法，我们的模型在定理生成和解决题目方面取得了卓越的成果，证明了合成数据对提高LLMs中的定理证明能力的潜力。

    May, 2024

  • 生成验证器：将奖励建模作为下一标记预测

    本研究针对现有验证器（奖励模型）主要采用判别分类器训练的方法，提出了一种新颖的生成验证器（GenRM），通过下一标记预测目标联合进行验证和解决方案生成。结果表明，在算法和小学数学推理任务中，GenRM相较于现有方法优势明显，解决率提高了16%-64%，并且在数据集规模、模型容量和推理时计算要求方面展现了良好的扩展性。

    Aug, 2024

  • 基于理据意识的答案验证与成对自我评估

    本研究针对现有答案验证方法中忽视理据有效性的问题，提出了一种新的验证策略。通过引入REPS方法，有效地从候选答案中选择有效理据，显著提高了基于正确理据训练的验证器的性能。研究结果表明，确保理据的有效性对构建可靠的答案验证器至关重要，尤其是在支持人类解决复杂推理任务时。

    Oct, 2024

  • 通过协作验证扩展推理计算来改善大语言模型推理

    本研究解决了大语言模型在复杂任务（如数学和代码推理）中一致性和准确性不足的问题。通过生成多个推理路径并引入验证器评估和排序输出的正确性，提出了一种新的协作方法结合了逐步推理和可执行程序推理。实验结果表明，该方法显著提升了推理验证的准确性和可靠性，潜在地推动了现有大语言模型的性能。

    Oct, 2024