Apr, 2024

自主探索避免陷阱：以细粒度奖励提升语言模型的推理能力

PDF
TL;DR通过自主探索（Self-Explore）的方法，研究自动增强规划模型（LLMs）的推理能力，并与监督式微调相比，在 GSM8K 和 MATH 测试集上分别平均取得 11.57％和 2.89％的改进。
发现论文，激发创造
  • 通过自发学习提升语言模型推理能力

    通过建立自我激励学习框架，根据正确性的内在排序，依据奖励模型训练并通过强化学习优化推理能力，本研究的实验证据表明其方法显著提升了模型的推理能力，在部分数据集中甚至超过了 text-davinci-002 模型。

    Apr, 2024

  • 大型语言模型可自我提升

    本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过 fine-tuning 在多个任务上达到了 SOTA 水平。

    Oct, 2022

  • 自我完善指导调优用于对齐语言模型中的推理

    我们提出了自我改进指导调整方法，通过引导较小语言模型进行自我改进，以实现对推理能力的进一步发展。此方法通过在大型语言模型提供示范的基础上，将推理能力从较大语言模型传输到较小语言模型，然后使用优化策略使得被指导的模型自我改进能力。在常识与数学推理任务上的结果表明，该方法在领域内外场景均显著优于指导调整方法，并使得较小语言模型与较大语言模型的推理能力逐渐趋于一致。

    May, 2024

  • ReFT: 强化微调推理

    通过增强学习和在线增强学习的组合，提出了一种名为 ReFT 的简单而有效的方法来增强大型语言模型在推理中的泛化能力，以数学问题求解为例，通过学习多个标注的推理路径，显著提高了性能。

    Jan, 2024

  • 优化语言模型的推理能力的弱监督方法

    利用自我强化机制提升大型语言模型（LLMs）的推理能力，并通过一个弱监督基准测试集 extsc {PuzzleBen}，含有 25,147 个复杂问题以及人工生成的解释，展示了利用较少的监督数据加强 LLMs 推理能力的有效方法。

    May, 2024

  • 多重奖励提炼的个性化自盈利者设计

    该论文介绍了一种名为 MaRio 的算法，该算法可以使规模较小的语言模型（约为 GPT-3 的 1/200）生成合理、多样且一致的自我理解解释，从而提高问题回答的准确性和自我理解质量，并通过人工评估验证了 MaRio 方案的可行性。

    Nov, 2023

  • 大型语言模型是推理教师

    本研究提出了 Fine-tune-CoT 方法，该方法利用非常大的语言模型以生成推理样本并通过微调来教授较小的模型，从而在较小的模型中实现了大量的推理能力优化。

    Dec, 2022

  • 自我解释：教大型语言模型自行推理复杂问题

    聚焦大型语言模型，探索通过自我解释生成复杂问题的过程，发现自我解释可以使模型更自信、更准确、更少倾向性地回答问题，甚至在几个复杂问题回答数据集上优于人工生成的示例。

    Nov, 2023

  • 自我探索：大型语言模型的自我组织推理结构

    SELF-DISCOVER 是一个通用的框架，使 LLMs 能够自我发现任务内在的推理结构来解决复杂的推理问题，并在 BigBench-Hard、基于代理的推理和数学等具有挑战性的推理基准上，相较于 Chain of Thought (CoT) 的性能提升高达 32%。此外，SELF-DISCOVER 在需要 10-40 倍少得多的推理计算的情况下，超过了 CoT-Self-Consistency 等推理密集型方法 20% 以上。最后，我们证明了自我发现的推理结构在模型族之间是普适的：从 PaLM 2-L 到 GPT-4，从 GPT-4 到 Llama2，并与人类推理模式共享共同点。

    Feb, 2024

  • 大型语言模型学习数学推理的规模关系

    探索大型语言模型中数学推理的挑战，研究预训练损失、监督数据量和增强数据量对监督型语言模型推理性能的影响，发现预训练损失是模型性能的更好指标，应用不同数量的监督数据和拒绝抽样微调来改善模型性能，发现增加数据量与模型性能呈对数线性关系，增加更多不同推理路径的数据样本能进一步改善语言模型的数学推理性能。

    Aug, 2023