ICLRJan, 2024

逃离高昂成本：多步推理的早停自一致性

PDF
TL;DR我们提出了一种简单且可扩展的采样过程 ESC，用于减少 Self-consistency 的成本，并在不牺牲性能的情况下动态选择性能成本平衡的控制方案。通过在算术、常识和符号推理任务上进行实验证明，ESC 显著降低了链式思维推理的平均采样数量，同时具有可比性的性能。
self-consistencychain-of-thought reasoningsampling processescperformance-cost balance
发现论文，激发创造
  • 自洽性提高语言模型的思维连贯性推理能力

    本文提出了一种新的解码策略 self-consistency 来替代自我解释式激励中的贪心解码，从而在多种常识推理基准测试中提高其性能。

    Mar, 2022

  • 语言模型代理的软自一致性改进

    大语言模型（LLMs）的生成可以通过对多个解决方案进行采样和评分来提高。目前的 “采样和选择” 方法依靠多数投票来评分答案，但是在任务具有许多不同且有效的答案时，通过投票选择需要大量的样本，这使得对于涉及顺序生成多个操作（答案）的交互式任务来说，SC 的代价过高。我们展示了如何通过软化评分准则来提高成功率，并引入了软自一致性（Soft-SC），用模型可能性计算连续得分来代替 SC 的不连续评分，使其能够在操作稀疏分布时进行选择。Soft-SC 在长时间跨度的交互任务上提高了性能和效率，相比于 SC，所需样本仅一半或更少，并在编写 bash 程序时的绝对成功率上比 SC 提高了 1.3％，在在线购物（WebShop）上提高了 6.6％，在交互式家庭游戏（ALFWorld）上提高了 4.7％。最后，我们证明了 Soft-SC 可以应用于开源和黑盒模型。

    Feb, 2024

  • 大型语言模型生成的通用自一致性

    利用大型语言模型采样的多个推理路径，结合自我一致性和链式思维提示，在各种具有挑战性的任务上取得了显著的性能提升。本研究提出了一种通用的自我一致性方法（USC），它利用语言模型自身从多个候选答案中选择最一致的答案。我们在包括数学推理、代码生成、长篇摘要和开放式问答在内的多个数据集上评估了 USC 的性能。在原来的自我一致性方法不适用的开放式生成任务中，USC 有效利用多个样本并提高了性能。对于数学推理，USC 在不要求答案格式相似的情况下，达到了标准自我一致性的性能。最后，在无法访问执行结果的情况下，USC 也达到了代码生成中基于执行的投票性能。

    Nov, 2023

  • 基于大语言模型的逐步自洽数学推理

    使用大型语言模型解决复杂的数学推理任务存在挑战，本文提出了一种名为 SSC-CoT 的算法，通过策略选择中间步骤并查询相关领域知识图谱，有效解决了多步推理中的关键问题。作者在 TriMaster100 数据集以及 MATH level 5 数据集上验证了 SSC-CoT 的有效性，取得了显著的性能提升。

    Feb, 2024

  • 一步步采样：适应性一致性用于 LLMs 高效推理

    本文介绍了一种新的自适应一致性技术，用于提高大型语言模型输出结果的正确性和降低采样成本，实验证明该技术能够将采样成本降低最多 6 倍并且保持高精度。

    May, 2023

  • 再问一次：自我一致性提升（几乎）所有情境下的语言模型推理能力

    通过自一致性和自一致性来解决链式思考提示中的贪婪解码的问题，并提出了自一致性的方法，它能够在几乎所有场景中得到优化，同时在六个公开推理基准中表现出显著的性能和卓越的普适性。

    Nov, 2023

  • LLMs 的多步推理中自洽性的两个失败

    本论文主要研究大型语言模型在多步推理中的自我一致性表现，提出假设一致性和组合一致性两个重要概念，并实现对 GPT-3 模型在维基百科，日常对话，算术和地理查询任务中表现不佳的演示。

    May, 2023

  • 通过自我评估引导解码的分解增强推理

    该研究提出了一种有效的提示方法，通过随机波束搜索融合自我评估指导，可以平衡生成链的质量 - 多样性权衡，并在少次学习的情况下，分别在 GSM8K、AQUA 和 StrategyQA 基准测试中比相应的 Codex-backboned 基线高出 6.34％、9.56％和 5.46％的准确度，同时通过细粒度推理又找到并解决了逻辑失误的问题，提高了一致性和鲁棒性。

    May, 2023

  • 基于软通识约束的零样本目标导航探索

    本文提出了一种基于预训练模型和通识知识转移的全新的零样本目标导航方法，将通识知识转化为导航行为的软逻辑谓词，实现了在未知环境中的目标导航，并获得了比其他基线模型更好的实验结果。

    Jan, 2023

  • 原子自洽的长篇生成改进

    提出了原子自洽（ASC）技术，通过合并多个样本中的相关子部分以提高长篇回答的信息检索能力，而不仅仅关注单个样本的抽取，该技术表现出明显优于 “Universal Self-Consistency”（USC）的效果，并在多个事实和开放式问答数据集上显示出未开发的提升长篇生成的潜力。

    May, 2024