Nov, 2024

自我训练与一致性相结合：通过一致性驱动的推理评估提升大型语言模型的推理能力

HTML
PDF
TL;DR本研究针对大型语言模型自我训练中推理能力提升面临的合理性评估不足的问题，提出了一种新的框架CREST。该框架通过后续问题评估每个合理性，并通过过滤不合适的合理性和基于评估结果的偏好学习，显著提高了推理的逻辑稳健性和准确性。
发现论文，激发创造
  • 大型语言模型可自我提升

    本文提出了一种方法，使用未标注的数据进行自我训练和推理提高，通过fine-tuning在多个任务上达到了SOTA水平。

    Oct, 2022

  • 一步步采样：适应性一致性用于LLMs高效推理

    本文介绍了一种新的自适应一致性技术，用于提高大型语言模型输出结果的正确性和降低采样成本，实验证明该技术能够将采样成本降低最多6倍并且保持高精度。

    May, 2023

  • 具有合理性的语言模型

    在大型语言模型中添加一个反思层次，通过构建信念图和使用形式化的约束推理器，从而减少其答案与其他“信念”的依赖关系和不一致性，REFLEX方法可以改善一定程度的一致性，同时不降低模型的答案准确性。

    May, 2023

  • 多重奖励提炼的个性化自盈利者设计

    该论文介绍了一种名为MaRio的算法，该算法可以使规模较小的语言模型（约为GPT-3的1/200）生成合理、多样且一致的自我理解解释，从而提高问题回答的准确性和自我理解质量，并通过人工评估验证了MaRio方案的可行性。

    Nov, 2023

  • 提升小型多模态推理模型的能力以与更大的模型相匹配：自一致性训练

    多模态推理中，理由生成对模型推理的准确性至关重要，本文提出了MC-CoT，一种通过自相容性训练策略生成多个理由和答案，并通过投票选择最准确的方法，从而提高生成的理由的质量，改进多模态推理的准确性和鲁棒性。

    Nov, 2023

  • 自主探索避免陷阱：以细粒度奖励提升语言模型的推理能力

    通过自主探索（Self-Explore）的方法，研究自动增强规划模型（LLMs）的推理能力，并与监督式微调相比，在 GSM8K 和 MATH 测试集上分别平均取得11.57％和2.89％的改进。

    Apr, 2024

  • 小型语言模型需要强大的验证器来自我修正推理

    在小型语言模型上进行自我纠正训练以提高推理能力，通过使用正确解决方案引导模型对不正确的回答进行批判，并使用生成的批评经过筛选后进行自我纠正理由的监督微调，实验证明在数学和常识推理方面的五个数据集上两种模型的自我纠正能力得到了提升，与GPT-4基于验证器的强配对时取得了显著的性能提升，但使用弱自验证器来确定何时进行更正存在一定的限制。

    Apr, 2024

  • 动态自一致性：利用推理路径提高大型语言模型采样效率

    本文针对大型语言模型（LLMs）在自一致性（SC）方法中导致的高计算成本问题，提出了一种新的早停框架——推理感知自一致性（RASC）。RASC通过动态调整样本生成数量并综合考虑输出答案及推理路径，显著降低采样使用量，同时在准确性上实现了最高达5%的提升。

    Aug, 2024

  • 基于理据意识的答案验证与成对自我评估

    本研究针对现有答案验证方法中忽视理据有效性的问题，提出了一种新的验证策略。通过引入REPS方法，有效地从候选答案中选择有效理据，显著提高了基于正确理据训练的验证器的性能。研究结果表明，确保理据的有效性对构建可靠的答案验证器至关重要，尤其是在支持人类解决复杂推理任务时。

    Oct, 2024

  • 通过加权推理增强语言模型推理能力

    本研究针对大型语言模型在推理任务中表现不佳的问题，提出了一种改进的自一致性框架，旨在加强模型的推理能力。通过将多条推理路径的详细分析与最终决策结合，该方法显著提高了复杂推理任务中的模型性能和推理路径的可靠性。

    Oct, 2024