ACLJul, 2021

MWP-BERT: 数理增强的数学应用问题预训练

PDF
TL;DR本文介绍了一种通过上下文表示学习的方式，将数值属性注入到符号占位符中的方法，以解决数值表示问题。我们将此想法引入到预训练语言模型（PLM）技术中，构建了一种有效的上下文数值表示 PLM（MWP-BERT）。我们在英文和中文基准上证明了 MWP-BERT 在 MWP 求解和几个 MWP 特定理解任务上的有效性。
math word problemnumber representationcontextualized representation learningpre-training language modelnumerical reasoning
发现论文，激发创造
  • 大型语言模型中的符号数学问题推理

    该论文研究了大型语言模型在数学问题推理方面的能力，特别关注符号推理在数值问题中的准确性，并通过自提示的方法提高了符号准确性，为模型提供了简洁可验证的推理能力。

    Aug, 2023

  • 提升神经数学问题求解器的技术

    该研究提出了一种基于编码器 - 解码器的模型，完全利用问题文本并保留逐步的交换律，以产生无论数量的排列方式如何都具有不变性的表达式嵌入，并进一步对问题文本进行编码以指导解码过程，可以提高数学问题自动求解程序的性能。

    Feb, 2023

  • 数学词问题求解中的上下文学习和比较评估中的数据增强

    通过修改问题的文本和方程式，例如使用同义词替换、基于规则的问题替换和基于规则的问题翻转，提出几种方法进行数据增强，从而为数学问题求解程序提供更多样化的训练集，最终提高其解决各种数学问题的能力。本研究引入了一种新的上下文学习增强方法，采用 Llama-7b 语言模型，通过基于指令的提示对数学问题进行改述。在 9 个基准模型上进行了性能评估，结果显示增强方法优于基准模型。此外，以各种增强方法生成的示例的串联进一步提高了性能。

    Apr, 2024

  • 通过生成问题语句的语言变体来求解数学应用题

    该论文提出了一种用于解决数学问题的框架，该框架基于生成问题文本的语言变体，利用 DeBERTa 编码器构建解决方案表达式，通过对每个变体问题进行求解并选出获得大多数选票的预测表达式来改善数学推理和模型的鲁棒性。

    Jun, 2023

  • 增强问题 - 解决方案关联的类比数学问题求解

    本文提出了一种新颖的 MWP 求解器，利用类比方法，通过将类比 MWP 对在潜在空间中进行关联以增强求解器的泛化能力，整合了解决方案鉴别器以增强 MWP 表示和真实解决方案的关联，评估结果证实，我们的模型相比最先进的模型 Generate2Rank，在 Math23k 数据集上表现更好并且编码器参数量减少了 5 倍，我们还发现我们的模型具有更强的泛化能力，能够解决难度较大的 MWP 问题。

    Dec, 2022

  • 自然语言处理模型真的能够解决简单的数学问题吗？

    该研究分析了现有的 NLP 求解器在解决低年级英语数学问题时的表现，指出现有求解器主要依赖于表面浅显的启发式策略。同时，研究提出了一个挑战数据集 SVAMP，并证明当前最优模型的表现还有很大的提升空间。

    Mar, 2021

  • 使用预训练多语言语言模型研究数学问题

    本文探讨了跨语言和多语言下的数学应用问题，使用预训练的多语言模型构建模型，并使用序列到序列模型进行求解。通过比较跨语言和多语言场景下数学应用问题的求解情况，表明将模型迁移到不同的语言上可能会导致性能下降，但如果问题类型存在于源语言和目标语言中，则其性能可以得到完善提升。

    May, 2021

  • 走向可行的数学推理：解决数学应用题的挑战、策略和机遇

    研究了解决自然语言描述的数学问题的非神经和神经方法，并突出了这些方法具有可泛化、数学合理、可解释和可解释的能力，提出使用外部知识和知识渗透学习的需求和机会。

    Oct, 2021

  • 生成和排序：处理数学问题的多任务框架

    文章提出了一种基于预训练语言模型的多任务框架 Generate & Rank，该框架采用生成和排名的方法，在生成数学表达式的同时实现了决定正确和错误表达式等级的新的排名任务。结果表明，该方法在公共基准数据集中表现出色，比现有方法提升了 7% 的性能。

    Sep, 2021

  • 基于常识知识图谱和方程式的数学应用题生成

    本研究提出了一种通过神经网络模型从常识知识图谱和方程式中生成多样化数学单词问题的方法，并在教育评估方面表现出优越性，其中自规划模块实现了方程和常识知识信息的自动融合。

    Oct, 2020