- 通过将语言模型与符号求解器相结合解决数学语言问题
通过将大型语言模型与外部符号求解器相结合,我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法,并使用符号求解器解决问题,相较于 PAL 在解决代数类问题上性能提升了 20%。
- 大型语言模型在算术任务中的表现如何?
本研究提出一个数学计算数据集 MATH 401,用于测试最新的大型语言模型(包括 GPT-4,ChatGPT 等)在解决数学单词问题时的算术能力,并提供了能力的详细分析。
- ChatGPT 自然语言处理在数学问题上的独立评估
本文针对商用大型语言模型 ChatGPT 在数学问题(Math Word Problems,MWP)中的性能表现进行了研究,并首次发现,ChatGPT 的性能表现会因要求展示解题过程而出现明显差异,而 MWPs 中未知数和操作数量等多个因素 - 弱监督代码生成的显式知识转移
本研究提出了一种显式知识转移(EKT)方法,利用大型语言模型(LLMs)的少量学习能力来创建 NL-code 对,过滤正确性并对学生模型进行微调,以实现在数学问题求解中生成代码解决方案的任务。实验结果表明,使用 EKT 训练的 GPT-Ne - EMNLP文本增强对比学习在解决数学题中的应用
本研究提出了一种名为 “Textual Enhanced Contrastive Learning” 的方法,采用自监督学习策略,丰富了数学问题的文本变异性,并从方程和文本角度检索最难区分的样本以指导模型进行学习,最终达到了在英文和中文基准 - 解决数学应用题的自洽推理方法
通过采用自我一致性推理框架 SCR,其中利用修剪策略来纠正输入文本和输出表达式之间的虚假相关样本,进而通过对称的 Kullback-Leibler 分歧来校准输出分布偏移,SCR 生成等效表达式,并在两个大型基准实验中表现出优越性。
- ACLComSearch: 组合策略方程搜索解决弱监督数学问题
通过引入组合算法 ComSearch 解决数学问题中伪标签空间有限的问题,提高了数据质量;通过排名模型去噪,实现了高质量的弱监督学习,与现有的两种监督方法相比,性能达到了最佳。
- ACL寻求多样化的推理逻辑:控制方程式表达式生成以解决数学应用题
本文提出了一种通过控制代码来引导模型考虑某些推理逻辑和解码与人类参考转换的相应等式表达式的可控等式生成求解器,实验结果表明我们的方法对单一未知(Math23K)和多个未知(DRAW1K,HMWP)基准测试普遍提高了性能,最大的改善高达 13 - 提高数学问题解决中的组合泛化能力
本文研究了数学单词问题中的组合泛化,并提出了一种迭代的数据增强方法,将多种组合变化引入到训练数据中,从而显著提高了常规数学单词问题方法的组合泛化能力。
- CLEVR-Math: 用于复合语言、视觉和数学推理的数据集
通过综合应用语言、视觉和数学推理,本文介绍了一个多模态数学问题数据集 CLEVR-Math,并应用最先进的神经模型和神经符号模型对其进行了实证研究,结果显示这两种方法都无法有效解决多模态数学问题。
- MMTM:用于数学应用题的多任务多解码器变换器
提出一种新的神经网络模型 MMTM,利用多任务和多解码器,在预训练期间创建变体任务,使用特定任务的解码器并使用 Transformer 架构。该模型在对抗性挑战数据集 SVAMP 上相对于 Seq2Seq,GTS 和 Graph2Tree - 利用细分至粗分的抽象和推理方法解决数学应用问题
本文提出一种 fine-to-coarse 建模方法来解决数学单词问题,通过迭代地组合低级操作数以预测高级操作符来抽象问题并从底向上推理解决运算符,从而更好地捕捉本地细粒度信息和全局逻辑结构。使用 Math23k 和 SVAMP 数据集进行 - 消除解题偏差的无偏数学问题基准
本篇论文提出解决当前数学应用问题(Math Word Problem,MWP)数据偏见问题的方法:构建了一个去除偏见的新数据集 UnbiasedMWP,同时我们提出了一种名为 Dynamic Target Selection 的动态目标选择 - ACL学会演绎推理:将数学问题解决视为复杂关系提取
提出了一种基于复杂关系提取的数学问题求解方法,通过可解释的演绎推理步骤构建目标表达式,实现了更准确且可理解的问题求解。
- 链式思考引导大型语言模型推理
通过 chain of thought prompting 方法,在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能,甚至超过 fine-tuned GPT-3。
- 走向可行的数学推理:解决数学应用题的挑战、策略和机遇
研究了解决自然语言描述的数学问题的非神经和神经方法,并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力,提出使用外部知识和知识渗透学习的需求和机会。
- EMNLP数学单词问题生成与数学一致性及问题背景约束
本文提出了一种新颖的数学语文问题生成方法,该方法结合了预训练的语言模型和上下文关键词选择模型,以提高所生成的数学语文问题的语言质量;而使用数学公式一致性约束来提高所生成的数学语文问题的数学有效性。经过大量的定量和定性实验,我们的方法相比各种 - ACL用于评估和发展英语数学问题解决器的多样化语料
本文介绍了 ASDiv (中央研究院多样化的 MWP 数据集),它是一个多样化的英语数学文字问题 (MWP) 语料库,含有 2305 个问题,覆盖了更多的文本模式和大多数初中学校教授的问题类型。作者建议使用 ASDiv 作为解决 MWP 问 - ACL从序列到通用树:知识引导的几何文字问题求解
本文提出了一种名为 S2G 的序列生成算法,用于解决数学语言问题,能够生成可解释和可执行的操作树。实验表明,在需要数学领域知识的问题上,S2G 可以取得比强基线模型更好的性能。
- 使用预训练多语言语言模型研究数学问题
本文探讨了跨语言和多语言下的数学应用问题,使用预训练的多语言模型构建模型,并使用序列到序列模型进行求解。通过比较跨语言和多语言场景下数学应用问题的求解情况,表明将模型迁移到不同的语言上可能会导致性能下降,但如果问题类型存在于源语言和目标语言