Sep, 2023

思维链推理综述：进展、前沿与未来

PDF
TL;DR认知过程中的链式思维推理引起了人工智能和自然语言处理领域的广泛关注，然而目前还缺乏一个全面的调查。为此，我们首次全面调查了这一研究领域，按照方法分类系统地组织了当前的研究，包括思维推理方式、思维推理结构变体和增强思维推理。此外，我们还描述了思维推理的前沿应用，包括规划、工具使用和提炼。我们还讨论了面临的挑战和一些未来方向，如忠实度、多模式和理论。我们希望这项调查能成为链式思维推理领域研究者寻求创新的宝贵资源。
发现论文，激发创造
  • 超越思维链：LLM 的链式 X 范式综述

    链状思维法（CoT）和链状 X（CoX）方法是大型语言模型（LLMs）中广泛采用的启发式方法，本文提供了对 LLMs 中 CoX 方法的全面调查，包括节点分类和应用任务，并讨论了现有 CoX 方法的结果和未来方向。

    Apr, 2024

  • 计划、验证和切换：多样思维的集成推理

    通过多样化的推理思路，XoT 提供了一个集成的解决问题框架，可以在数学推理任务中有效地选择最合适的方法，并动态地切换不同的提示方法。

    Oct, 2023

  • 思维链的强弱取决于最薄弱一环：推理链验证器的基准评估

    我们引入了 Reveal：推理验证评估，这是一个新的数据集，用于在开放域问题回答设置中评估复杂的链式推理的自动验证器，包括语言模型的答案中每个推理步骤的相关性、证据归因和逻辑正确性的全面标签。

    Feb, 2024

  • 视觉语言模型中思维链路提示调优

    本文提出了一种基于连锁式思维提示调整的视觉语言建模方法，经过广泛的实验验证，我们的方法在图像分类任务中的泛化能力更强，在单个数据集之外具有更强的可转移性和更强的领域泛化性能，而且在需要更多推理能力的图像文本检索和视觉问答方面表现更好。

    Apr, 2023

  • 思维链推理是一种策略改进算子

    通过思维链推理自主学习的大语言模型可以教会自己新技能，超越了依赖大量人工生成数据进行训练的能力。

    Sep, 2023

  • 通过逻辑增强大型语言模型中的零射连续推理

    利用逻辑链思维 (LogiCoT) 的神经符号框架，大规模语言模型提供了更强的零编码链式思维推理能力。实验证明了逻辑增强的推理范式在算术、常识、符号、因果推断和社会问题等多个领域的语言任务中的有效性。

    Sep, 2023

  • 思维的连锁：计划中 CoT 的分析

    根据 Blocksworld 的案例研究，通过链式思维问题可以提高大型语言模型的性能，但需要高度问题特定的提示，并且存在性能改善和生成正确推理示例所需人力之间的明显权衡。

    May, 2024

  • 复杂视觉语言推理任务中的思维链路作用

    该研究通过将复杂的视觉语言任务拆分为子任务和中间步骤的思维链方法，探究其在提高需要复杂感知和推理的视觉语言任务中的有效性。我们提出了 “先描述再决策” 的策略，该策略受人类信号处理方式启发，显著提高探索任务性能 50%，为进一步研究复杂视觉语言任务中的推理范式奠定了基础。

    Nov, 2023

  • 对比的思维链路提示

    我们提出了对比思维链来增强语言模型推理，通过提供有效和无效的推理示范，引导模型逐步推理并减少推理错误。在推理基准测试中，对比思维链能够作为思维链提示的一种普遍增强。

    Nov, 2023

  • 通过知识蒸馏进行的隐含推理链条

    使用语言模型的内部隐藏状态进行隐式推理，通过垂直在不同层的隐藏状态中进行推理来解决以前无法解决的任务，而无需进行明确的思维链条推理。

    Nov, 2023