ICLRJun, 2020

IsarStep: 高层次数学推理的基准测试

PDF
TL;DR本文提出了一种用于高级数学推理的数据集，研究了神经序列到序列模型的推理能力。实验结果表明，该任务具有挑战性，但神经模型能够捕捉到非平凡的数学推理，提出的分层 Transformer 的性能也好于基准 Transformer。
machine learning modelsmathematical reasoningneural sequence-to-sequence modelstheorem provertransformer
发现论文，激发创造
  • 神经模型的数学推理能力分析

    该研究针对数学领域中的推理、学习、应用规则等独特挑战，提出了一个数学问题套件的任务，用于测试和评估神经架构等系统的性能、能力和失效模式。通过生成数据并运用序列到序列的最强模型，可以从不同角度评估模型在数学问题解决和知识推广方面的能力。

    Apr, 2019

  • 深度学习在数学推理中的应用概述

    本文综述了过去十年在数学推理和深度学习交叉领域中的关键任务、数据集和方法，评估了现有的基准测试和方法，并讨论了该领域的未来研究方向。

    Dec, 2022

  • STEPS：顺序任务中顺序推理能力的基准测试

    提出了一个基于序列任务的具有挑战性的基准测试 STEPS，它包括两个子任务设置，聚焦于确定食谱中给定下一步的合理性和从多项选择题中选择合理步骤，通过实验结果说明了序列任务中的常识推理具有挑战性，并且提示方法在 STEPS 上仍然明显落后于基于调优的方法。

    Jun, 2023

  • 利用关系抽象进行推理的学习

    本文介绍了一种利用关系抽象概念来帮助大型语言模型在数学推理方面提高的新方法，并发现将这种序列用作提示可使模型具有更强的推理能力，特别是在需要执行多步任务的情况下。

    Oct, 2022

  • DeepMath - 前提选择的深度序列模型

    本研究使用神经序列模型探讨在自动定理证明的命题选择方面的有效性，提出了一个两级方法，能够在避免现有最先进模型的手工设计功能的同时在 Mizar 语料库上为 premise selection 任务提供良好结果。据我们所知，这是首次在大规模的定理证明中应用深度学习。

    Jun, 2016

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • 系统评估推理捷径的基准套件

    强大的神经分类器的出现增加了对既需要学习又需要推理的问题的兴趣，该研究论文介绍了一个包含任务评估、概念质量评估和推理快捷方式验证的综合基准套件，旨在系统地评估推理快捷方式对模型的影响。

    Jun, 2024

  • 神经网络中的抽象推理测量

    本研究旨在探索神经网络的抽象推理能力，提出了一个基于人类智商测试设计的数据集挑战，并展示了一种新的体系结构，该结构旨在鼓励推理并可显着提高神经网络的推理能力。通过改变测试和训练数据之间的方式，我们发现该模型在某些形式的泛化上非常擅长，但在其他方面明显较弱。此外，当该模型通过训练来预测答案的符号解释时，其泛化能力会显著提高。

    Jul, 2018

  • 使用合成数据探索大型语言模型的数学外推

    通过对高质量合成数据的微调，本文通过提出的算术难题问题展示出大型语言模型在多步推理任务上的出色表现，并通过开源的 3B 模型在三个不同的测试数据集上实验结果表明，这种模型不仅在域内数据集上能够达到 0.44 的零样本一次通过率 @1，而且还在域外数据集上展现出一定的泛化能力，对于扩展数字范围和算术难题问题的组合组件分别设计了两个域外数据集，在这两个更难的任务上，经过微调的模型展示出令人鼓舞的表现，零样本一次通过率 @1 分别为 0.33 和 0.35。

    Jun, 2024

  • DeepSeek-Prover: 通过大规模合成数据推进 LLMs 中的定理证明

    基于大规模合成数据，使用 Lean 4 proof 数据生成方法，我们的模型在定理生成和解决题目方面取得了卓越的成果，证明了合成数据对提高 LLMs 中的定理证明能力的潜力。

    May, 2024