Sep, 2023

GPT 能够在没有计算器的情况下解决数学问题

PDF
TL;DR大型语言模型可以准确执行包括多位数字乘法、小数和分数在内的算术运算，并且能够在无数据泄露情况下实现几乎 100% 的准确度，超越了 GPT-4。此外，我们通过在包含多步骤算术运算和文本描述的数据集上对 GLM-10B 进行微调，开发出的 MathGLM 在 5000 个样本的中文数学问题测试集上展现了与 GPT-4 相似的性能。
large language modelsarithmetic operationsmultiplicationdata leakagemathglm
发现论文，激发创造
  • 使用基于图的方法解决大型语言模型系统的乘法问题

    我们提出了一种基于图形的乘法算法，通过引入一个 10k 运算符，模拟人类数学运算，有效地解决了 GPT 和其他大型语言模型在乘法方面的挑战。

    Oct, 2023

  • 大型语言模型在算术任务中的表现如何？

    本研究提出一个数学计算数据集 MATH 401，用于测试最新的大型语言模型（包括 GPT-4，ChatGPT 等）在解决数学单词问题时的算术能力，并提供了能力的详细分析。

    Mar, 2023

  • 挑战性数学问题求解的 GPT-4 实证研究

    本文探索使用 GPT-4 解决更复杂的数学问题，并评估了各种使用 GPT-4 的方法，包括作者提出的新的对话式解决框架 - MathChat。针对 MATH 数据集中的困难高中竞赛题进行了评估，结果表明所提出的对话式方法具有优势。

    Jun, 2023

  • 小型 Transformer 的算术教学

    在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

    Jul, 2023

  • 大型语言模型对数学的理解：源批评和推演

    GPT-4 的研究调查发现，尽管该模型可以重复、改编和润色其之前见过的数学证明，然而它并未实际理解基本数学概念，而在形式语言中证明数学定理的任务与搜索引擎如 Google 的方法相当，而预测句子中的下一个词可能是一种错误的方法，往往会导致过度推断和最终失败。

    Nov, 2023

  • ChatGPT 自然语言处理在数学问题上的独立评估

    本文针对商用大型语言模型 ChatGPT 在数学问题（Math Word Problems，MWP）中的性能表现进行了研究，并首次发现，ChatGPT 的性能表现会因要求展示解题过程而出现明显差异，而 MWPs 中未知数和操作数量等多个因素会影响模型的失败率，其中特别注意到加减法操作次数与失败率呈线性关系，同时我们也发布了一个 ChatGPT 对 MWP 回答的数据集，用于支持更多的研究。

    Feb, 2023

  • ChatGPT 的数学能力

    本研究使用 GHOSTS 数据集评估了 ChatGPT 的数学能力和其他训练过数学语料库的模型相比，发现其数学能力显著低于普通数学研究生，并强调 GHOSTS 数据集的重要性以及未来大型语言模型在高级数学理解方面的比较研究。

    Jan, 2023

  • GPT-2 如何计算大于：对预先训练的语言模型中的数学能力进行解释

    该研究使用机械解释技术来探讨预训练语言模型的数学能力，以 GPT-2 小型版本为例，发现它具有限制的数学能力，可通过电路进行解释，最终证明该电路可推广至其他任务。

    Apr, 2023

  • NumGPT：提升生成式预训练模型的数学能力

    本文提出了 NumGPT，这是一种专门用于数学推理的预训练模型，其采用枚举法嵌入来明确地表示文本中的数字特性，并设计了一种数字感知的损失函数，该模型在评估数字能力时的结果表明，其在测量估计、数字比较、数学问题和数量分类等一系列数学推理任务上优于基线模型（如 GPT 和带 DICE 的 GPT）。

    Sep, 2021

  • 将 GPT-4 应用于未发表的正式语言的实验结果

    使用最新系统 GPT-4，完善的自然语言规范指定先前未发布的形式系统的几项任务，如说明函数和类型定义，证明简单定理和验证用户提供的证明，并显示出域知识，发明了有用的新语法和语义，以及表现出泛化和推理能力，因此答案似乎是：是。

    May, 2023