EMNLPNov, 2023

ATHENA: 数理推理中的思维扩展

PDF
TL;DR使用注意力机制的 THought Expansion Network Architecture (ATHENA) 模型通过模仿人类思维扩展机制中的神经网络传播形式，解决实际世界的数学问题挑战，并在训练示例信息受限的情况下，在各种问题中取得了新的最佳表现。
math word problemsmodelsreal-world settingsathenaneural network propagation
发现论文，激发创造
  • 脑启发的两阶段方法：模拟人类思维过程增强数学推理

    提出了一种名为 Brain 的新方法，通过模仿人类思维过程来增强数学推理能力，在生成规划时使用额叶模型，然后利用顶叶模型生成代码并执行以获得答案，在数学推理任务中取得了最先进的性能，并发现可以明确从自然语言、代码或正式语言中提取规划。

    Feb, 2024

  • 神经模型的数学推理能力分析

    该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

    Apr, 2019

  • 走向可行的数学推理：解决数学应用题的挑战、策略和机遇

    研究了解决自然语言描述的数学问题的非神经和神经方法，并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力，提出使用外部知识和知识渗透学习的需求和机会。

    Oct, 2021

  • NeuralThink: 通用任务的算法综合

    机器学习方法在模式识别方面表现出色，然而在可伸缩的算法推理任务方面仍存在困难。近期的深度思考方法在学习算法的外推方面表现出希望，即在较小的环境中学习并在较大的环境中执行学习到的算法。然而，这些方法局限于对称任务，其中输入和输出维度相同。为了弥补这一差距，我们提出了一种名为 NeuralThink 的新循环架构，能够一致地对称和不对称任务进行外推，其中输入和输出的维度不同。我们通过引入一种新颖的不对称任务基准来做出贡献。我们展示了 NeuralThink 在对称和不对称任务的稳定外推方面始终优于先前最先进的深度思考架构，尤其是对于从较小的训练样本中稳定地外推到较大观测样本。

    Feb, 2024

  • 利用局部注意力和网格样问题表示发现基本计算系统的 Transformer 模型

    本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。

    Jul, 2022

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 串联同时思考进行数字推理

    本文提出了一种名为 CANTOR 的数值推理算法，在不预定义解码依赖关系的情况下同时生成多种推理步骤，并比较并链接相关步骤以达到求解问题的目的。

    Nov, 2022

  • 利用符号库进行归纳推理的神经数学推理方法增强

    通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。

    Mar, 2022

  • 通过知识蒸馏进行的隐含推理链条

    使用语言模型的内部隐藏状态进行隐式推理，通过垂直在不同层的隐藏状态中进行推理来解决以前无法解决的任务，而无需进行明确的思维链条推理。

    Nov, 2023

  • 使用循环神经网络进行端到端算法合成：逻辑推断而不过度思考

    本研究提出了一种记忆回溯网络算法，采用保留问题实例的显式副本以及渐进式训练方法，解决了循环系统复杂问题迭代次数过多导致退化行为的问题，从而使循环系统能够解决极难的算法推理问题。

    Feb, 2022