Oct, 2022

使用组合推理变换器从语言模型中解开推理能力

PDF
TL;DRReasonFormer 是一个统一的推理框架，受认知科学中的双过程理论的启发，它可以模拟人类在复杂决策制定中的模块化和组合推理过程。它由表示模块和推理模块组成，可以捕捉不同层次的认知过程，并模拟组合推理过程来控制推理技能的激活以及推理深度。ReasonFormer 通过单一模型解决多个任务，并在端到端的方式下进行训练和推断。在 11 个需要不同推理技能和复杂度的数据集上进行评估，ReasonFormer 展示了显著的性能提升，揭示了组合推理的能力。而且它在少样本的实验中表现出更好的泛化能力，并解耦表示模块和推理模块。最后通过进一步的分析也揭示了推理模块的模块化特性。
发现论文，激发创造
  • 动态模块化推理用于构成结构化解释生成

    我们提出了一个新的结构化解释生成任务的设置，以促进组合推理研究，并通过模块化的推理模型 MORSE 来提高神经模型的组合泛化能力。实验证明 MORSE 的动态推理模块和泛化能力的有效性。

    Sep, 2023

  • 从复杂到简单：揭示小型语言模型推理的认知树

    通过使用认知树 (CogTree) 框架，我们揭示了语言模型的认知推理能力，并证明可以使用明显较小的语言模型 (<=7B) 达到与 GPT-3.5 相当的性能水平，而 GPT-3.5 具有更多的参数（175 亿）。

    Nov, 2023

  • 段落推理的多步推理

    本文介绍了一种类似神经模块网络的组合模型，旨在对文本进行复杂的逻辑推理，通过寻找文章中相关的句子，并使用神经模块将它们链接起来，模型在 ROPES 上取得了显著的性能改进。

    Apr, 2020

  • 分治策略：基于对象分解和组合推理的问题解答

    本文提出了一种基于物体分解和语义关系的视觉推理框架，包括物体因子分解方法和神经模块网络，具有较好的推理能力和泛化性能，并且提供了可解释的决策过程界面。

    Mar, 2023

  • 交互式机器人操作的混合组合推理方法

    本文介绍了一种神经符号 (混合) 组合推理模型，以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明，该方法达到了非常高的准确性，同时可以进行少量的视觉微调，从而实现了真实场景的可转移性。

    Oct, 2022

  • 基于堆栈神经模块网络的可解释神经计算

    本研究提出一种新颖的神经模块化方法来实现基于组合推理的问题回答，该方法不需要强监督，能自动诱导期望的子任务分解并通过共享模块链接不同的推理任务，实验表明该模型比当前先进模型更易于人类评估者解释以及预测其中间结果的成功或失败。

    Jul, 2018

  • 朝着真正无需零样本的组合视觉推理：以 LLMs 为程序员

    通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

    Jan, 2024

  • 可解释的语言推理增强版 (EVR+): 一种支持多样化组合推理的自然语言推理框架

    本文提出了 Explainable Verbal Reasoner Plus (EVR +) 的推理框架，它通过允许模型显式生成和执行符号运算符，并灵活地将一个复杂任务分解为若干简单任务，增强了语言模型的组合推理能力。实验结果表明，该推理框架可以提高模型的组合概括能力。

    Apr, 2023

  • 语言模型中的概念和公正推理

    我们提出了一个新的概念化框架，迫使模型在抽象问题上进行概念推理并在可验证的符号空间中生成解决方案，使用这个框架作为分析工具，我们发现现有的大型语言模型在概念推理方面存在不足，并通过引入可信的归纳信号来改善模型的概念推理性能，实验证明我们提出的技术使模型的概念推理性能提高了 8% 至 11%，实现了一个更强大的推理系统，更少地依赖归纳偏见。

    Mar, 2024

  • 理解和修复 LLMs 中的组合推理

    我们的研究揭示了 LLMs 在复合推理任务中的失败根源，即大多数失败源于生成或利用不当的隐性推理结果。深入研究发现隐性推理结果确实存在于中间层，并在塑造最终明确推理结果中发挥因果作用，我们还发现多头自注意力模块是生成和利用隐性推理结果的关键。基于以上发现，我们开发了 CREME，一种轻量级方法，通过编辑定位的多头自注意力模块来修复复合推理中的错误。我们的实证证据证明了 CREME 的有效性，为自主持续提升语言模型中的复合推理能力铺平了道路。

    Feb, 2024