Sep, 2024

CodePlan：通过扩展代码形式规划释放大型语言模型的推理潜力

HTML
PDF
TL;DR本研究解决了大型语言模型在复杂多步骤推理任务中的规划能力不足问题。提出的CODEPLAN方法通过生成和遵循代码形式的计划，提升了推理过程的结构性和灵活性。研究发现，CODEPLAN在13个多步骤推理基准上实现了25.1%的相对提升，展示了其在复杂推理任务上的显著数据效率和泛化能力。
发现论文，激发创造
  • 大型语言模型是零样本推理器

    该研究发现预训练的大型语言模型可以成为良好的零样本推理器，提出了一种零样本的CoT方法，将其用于多种复杂的推理任务并取得了显著的性能提升。

    May, 2022

  • 大语言模型的推理能力：一项调查

    本文综述了大型语言模型在推理方面的最新研究，包括提高它们的推理能力的方法、评估它们的推理能力的基准和方法，以及这一领域之前研究的发现和意义，旨在激发有意义的讨论和未来的研究。

    Dec, 2022

  • 面向多步推理的小语言模型特化

    揭示了将大规模语言模型进行特化，使其在特定任务上具有相对较强的表现的可能性，并使用多步数学推理作为测试，通过设计优化措施来提高其广义性能。

    Jan, 2023

  • 思维链中枢: 评估大型语言模型推理性能的持续努力

    提出了一个开源评估套件链式思维中心，用于评估大型语言模型在多步推理能力方面的性能，并针对一系列有挑战性的应用场景提供基准测试，目前的结果表明，模型规模与推理能力密切相关，需要更多开源社区的努力来构建更好的基础模型和探索RLHF。

    May, 2023

  • 大型语言模型推理的分而治之

    大型语言模型在处理多项选择题时，通过引入分治策略并使用先验知识推理和选择过滤等方法，能够显著提高推理能力，并在算术、常识和逻辑任务中获得显著改进。

    Jan, 2024

  • 通过代码从LLMs中引出更好的多语言结构化推理

    大型语言模型在多语言结构推理和解释数据集xSTREET上表现出进展，通过使用机器翻译增强具有多语言评论的代码数据集，以及在推理时使用包含逐步代码原语的提示结构，提供了改善多语言性能的两种方法。

    Mar, 2024

  • LM2: 简约语言模型社区解决复杂推理

    该研究提出了LM2模型，通过将问题分解为多个子问题并利用协调的语言模型进行求解和验证，以提高大型语言模型的复杂多步推理能力。

    Apr, 2024

  • LLM推理器：大型语言模型逐步推理的新评估、库和分析

    该论文介绍了 AutoRace 和 LLM Reasoners，分别用于评估和实现不同的推理方法，以解决大型语言模型在生成推理链时所面临的挑战。

    Apr, 2024

  • 自然语言规划改善大语言模型代码生成的搜索能力

    本研究针对大语言模型（LLMs）在推理计算中缺乏多样性所导致的低效搜索问题进行了探讨。通过提出PLANSEARCH这一新颖的搜索算法，研究表明基于自然语言的计划搜索能产生更为多样化的解决方案，从而显著提升了代码生成的效果，特别是在LiveCodeBench上达到了77.0%的最佳通过率。

    Sep, 2024

  • 貌似合理的干扰项在多跳推理中的作用：大型语言模型是否是细致的读者？

    本研究针对当前大型语言模型在多跳推理能力方面的不足，特别是它们在利用简化提示绕过推理要求的问题。研究发现，大型语言模型确实可能会通过更加微妙的方式规避这些推理要求，并提出了一种新的多跳推理基准，生成貌似合理但最终错误的推理链，显著影响模型的表现，F1分数最高下降45%。

    Sep, 2024