May, 2019

MathQA: 基于操作的形式化方法实现可解释的数学问题求解

PDF
TL;DR介绍了一个大规模的数学问题数据集和一个可解释的神经数学问题求解器，该求解器学习将问题映射到操作程序。使用新的表示语言，MathQA 数据集明确地注释了各种类型的问题的操作程序，同时提高了模型的性能和可解释性。通过自动问题分类，我们的实验结果在 MathQA 和 AQuA 数据集上均优于竞争基线，但仍显著低于人类表现，这表明该数据集为未来研究提出了新的挑战。
math word problemsinterpretable neural math problem solveroperation programsrepresentation languageautomatic problem categorization
发现论文，激发创造
  • TheoremQA：基于定理的问答数据集

    本文介绍了一个以定理驱动的问答数据集 TheoremQA，用于评估人工智能模型应用定理解决具有挑战性的科学问题的能力。研究人员使用 16 个大型语言和代码模型评估 TheoremQA，并发现 GPT-4 在 Program-of-Thoughts Prompting 的帮助下解决这些问题的能力是无与伦比的，达到了 51％，而现有的所有开放源代码模型都低于 15％，仅仅超过了随机猜测的基线。

    May, 2023

  • GeoQA：一个面向多模态数字推理的几何问答基准

    本文提出了大规模的 Geometric Question Answering 数据集 GeoQA 和一个神经几何求解器 NGS，并通过多模式信息综合分析和生成可解释性程序来解决几何问题。

    May, 2021

  • FormulaQA：一个基于公式的数值推理问答数据集

    通过使用存在的公式驱动的 FormulaQA 数据集，得出了使用检索增强的 LLMs 模型结合外部公式数据库时对现有模型具有重要改进潜力的实证结果。

    Feb, 2024

  • 使用数学数据集衡量数学问题解决能力

    介绍了一种新的 MATH 数据集，其中包含 12500 个具有挑战性的竞赛数学问题，每个问题都有全面的解决方案，可以用于教模型生成答案推导和解释。尽管研究者不断增加 Transformer 模型的预算和参数总数，但在 MATH 的准确性仍然相对较低，因此未来的研究可能需要更广泛的算法进步。

    Mar, 2021

  • Mathify: 在数学问题求解任务上评估大型语言模型

    自然语言处理和大型语言模型在教育和指导方法领域取得了快速进展，特别在解决数学问题的应用方面，其中 MAmmoTH-13B 表现出了最高的能力水平，成为解决 NCERT 数学问题的可靠基准。

    Apr, 2024

  • 精益练习册：从自然语言数学问题转化而成的大规模精益问题集

    通过提出一种新的流程，我们利用合成数据来将自然语言数学问题转化为 Lean 4 语句，并相应地进行过滤，从而为解决 LLMs 在理解复杂数学问题和证明上的性能提供有用的训练数据。最终数据集包含约 57K 个正式 - 非正式问题对以及来自数学竞赛论坛的搜索证明和 21 个新的 IMO 问题。

    Jun, 2024

  • 解决和推理数学应用问题的语义对齐方程生成

    本文提出了一个神经网络模型，基于编码器 - 解码器框架，利用自然语言理解桥接语义世界和符号世界，自动解决数学应用问题，并在 Math23K 数据集上验证模型的有效性。

    Nov, 2018

  • OpenWebMath：一个高质量数学网页文本开放数据集

    通过基于大规模数学文档的预训练，提高大型语言模型的推理能力并引入一个开放的数学网页数据集，从而促进大型语言模型的推理能力的进展。

    Oct, 2023

  • 提升神经数学问题求解器的技术

    该研究提出了一种基于编码器 - 解码器的模型，完全利用问题文本并保留逐步的交换律，以产生无论数量的排列方式如何都具有不变性的表达式嵌入，并进一步对问题文本进行编码以指导解码过程，可以提高数学问题自动求解程序的性能。

    Feb, 2023

  • 映射为声明性知识以解决数学应用题

    本文探讨了将自然语言描述的概念转换成数学表达式的声明性规则，并提出了一种将此类声明性知识纳入解决数学问题的框架。通过学习如何选择与解决方案表达式的每个操作相关的声明性知识，实现了将算术单词问题文本映射到数学表达式，同时支持答案表达式的可解释性。实验评估表明，基于领域知识的求解器优于其他所有系统，并且在训练数据与测试数据偏向不同的实际情况下更具有普适性。

    Dec, 2017