Apr, 2019

神经模型的数学推理能力分析

PDF
TL;DR该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。
mathematical reasoningneural architecturesfree-form textual input/output formattraining and test splitssequence-to-sequence architectures
发现论文，激发创造
  • 深度学习在数学推理中的应用概述

    本文综述了过去十年在数学推理和深度学习交叉领域中的关键任务、数据集和方法，评估了现有的基准测试和方法，并讨论了该领域的未来研究方向。

    Dec, 2022

  • 走向可行的数学推理：解决数学应用题的挑战、策略和机遇

    研究了解决自然语言描述的数学问题的非神经和神经方法，并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力，提出使用外部知识和知识渗透学习的需求和机会。

    Oct, 2021

  • 神经网络能做算术吗？对当今深度学习模型基本数学技能的调查

    本文回顾了近年来关于深度学习在数学领域的研究，认为当前即使是最先进的深度学习模型在面对简单的数学和算术任务时也表现出较大局限性。

    Mar, 2023

  • 朝向与问题格式无关的数值推理：一套必备任务

    介绍了一个多方面的基准测试 NUMBERGAME 来评估八种不同形式的数值推理任务的模型绩效，并需具有探测数据中的问题格式，查找中间常见格式，加入常识知识和解决不同格式数据不平衡的能力。同时，构建了多个基线模型，包括一个基于作弊纸的知识狩猎模型。但所有基线模型都表现较差，说明了该基准测试的难度。

    May, 2020

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 探索语言模型的数值推理能力：对表格数据进行综合分析

    这篇论文提出了一个层次化的数值推理技能分类法，涵盖四个级别的十多种推理类型。通过对先进模型进行全面评估，并开发了一组多样化的数值探针，论文发现在所有数值推理类型中，FlanT5（无 / 少数据）和 GPT-3.5（少数据）相对其他模型表现出强大的整体数值推理技能。标签颠倒探针表明模型经常利用数据集的特征来预测正确的标签。

    Nov, 2023

  • 脑启发的两阶段方法：模拟人类思维过程增强数学推理

    提出了一种名为 Brain 的新方法，通过模仿人类思维过程来增强数学推理能力，在生成规划时使用额叶模型，然后利用顶叶模型生成代码并执行以获得答案，在数学推理任务中取得了最先进的性能，并发现可以明确从自然语言、代码或正式语言中提取规划。

    Feb, 2024

  • 神经网络中的抽象推理测量

    本研究旨在探索神经网络的抽象推理能力，提出了一个基于人类智商测试设计的数据集挑战，并展示了一种新的体系结构，该结构旨在鼓励推理并可显着提高神经网络的推理能力。通过改变测试和训练数据之间的方式，我们发现该模型在某些形式的泛化上非常擅长，但在其他方面明显较弱。此外，当该模型通过训练来预测答案的符号解释时，其泛化能力会显著提高。

    Jul, 2018

  • 利用符号库进行归纳推理的神经数学推理方法增强

    通过离散型系统和抽象学习框架的组合，提出了 ABL-Sym 算法，将 Transformer 神经模型与符号数学库相结合，从而在数学推理数据集上显示出显著的准确性提高。

    Mar, 2022

  • IsarStep: 高层次数学推理的基准测试

    本文提出了一种用于高级数学推理的数据集，研究了神经序列到序列模型的推理能力。实验结果表明，该任务具有挑战性，但神经模型能够捕捉到非平凡的数学推理，提出的分层 Transformer 的性能也好于基准 Transformer。

    Jun, 2020