Apr, 2024

数学词问题求解中的上下文学习和比较评估中的数据增强

PDF
TL;DR通过修改问题的文本和方程式，例如使用同义词替换、基于规则的问题替换和基于规则的问题翻转，提出几种方法进行数据增强，从而为数学问题求解程序提供更多样化的训练集，最终提高其解决各种数学问题的能力。本研究引入了一种新的上下文学习增强方法，采用 Llama-7b 语言模型，通过基于指令的提示对数学问题进行改述。在 9 个基准模型上进行了性能评估，结果显示增强方法优于基准模型。此外，以各种增强方法生成的示例的串联进一步提高了性能。
发现论文，激发创造
  • 锤炼出完美的求解器：数学问题求解中的数据增强

    本文介绍了一系列基于替换和释义的数据增广技术，通过将现有数学问题数据集的规模提高五倍，我们在三种全球领先的数学问题求解器上进行了广泛的实验。结果显示，所提出的方法可以提高现有解算器的泛化性和鲁棒性，并在基准数据集上平均使结果显着提高了五个百分点。此外，经数据增广训练的解算器在挑战测试集上表现得更好，并且仅基于表层线索不能较好地解决这一问题。

    Apr, 2022

  • 基于语义的数学问题数据增强

    本文提出了一种基于数据增强的方法，通过知识引导的实体替换和逻辑引导的问题重组产生不同种类的本地差异数据，从而帮助提高当前神经模型的泛化能力。实验证明了我们的方法的必要性和有效性。

    Jan, 2022

  • 文本增强对比学习在解决数学题中的应用

    本研究提出了一种名为 “Textual Enhanced Contrastive Learning” 的方法，采用自监督学习策略，丰富了数学问题的文本变异性，并从方程和文本角度检索最难区分的样本以指导模型进行学习，最终达到了在英文和中文基准数据集以及设计挑战数据集上均表现最佳的效果。

    Nov, 2022

  • 数学单词问题生成与数学一致性及问题背景约束

    本文提出了一种新颖的数学语文问题生成方法，该方法结合了预训练的语言模型和上下文关键词选择模型，以提高所生成的数学语文问题的语言质量；而使用数学公式一致性约束来提高所生成的数学语文问题的数学有效性。经过大量的定量和定性实验，我们的方法相比各种基线方法都具有更好的性能。

    Sep, 2021

  • 提升神经数学问题求解器的技术

    该研究提出了一种基于编码器 - 解码器的模型，完全利用问题文本并保留逐步的交换律，以产生无论数量的排列方式如何都具有不变性的表达式嵌入，并进一步对问题文本进行编码以指导解码过程，可以提高数学问题自动求解程序的性能。

    Feb, 2023

  • 寻求模式，而非单纯记忆过程：对比学习解决数学问题

    本文提出一种对数学文字问题解决方案的改进方法，通过对原型方程进行比对学习，训练神经网络识别相似原型的问题，并在中英文数据集上取得了大幅提升的表现。

    Oct, 2021

  • 使用预训练多语言语言模型研究数学问题

    本文探讨了跨语言和多语言下的数学应用问题，使用预训练的多语言模型构建模型，并使用序列到序列模型进行求解。通过比较跨语言和多语言场景下数学应用问题的求解情况，表明将模型迁移到不同的语言上可能会导致性能下降，但如果问题类型存在于源语言和目标语言中，则其性能可以得到完善提升。

    May, 2021

  • 通过生成问题语句的语言变体来求解数学应用题

    该论文提出了一种用于解决数学问题的框架，该框架基于生成问题文本的语言变体，利用 DeBERTa 编码器构建解决方案表达式，通过对每个变体问题进行求解并选出获得大多数选票的预测表达式来改善数学推理和模型的鲁棒性。

    Jun, 2023

  • 自然语言处理模型真的能够解决简单的数学问题吗？

    该研究分析了现有的 NLP 求解器在解决低年级英语数学问题时的表现，指出现有求解器主要依赖于表面浅显的启发式策略。同时，研究提出了一个挑战数据集 SVAMP，并证明当前最优模型的表现还有很大的提升空间。

    Mar, 2021

  • MWP-BERT: 数理增强的数学应用问题预训练

    本文介绍了一种通过上下文表示学习的方式，将数值属性注入到符号占位符中的方法，以解决数值表示问题。我们将此想法引入到预训练语言模型（PLM）技术中，构建了一种有效的上下文数值表示 PLM（MWP-BERT）。我们在英文和中文基准上证明了 MWP-BERT 在 MWP 求解和几个 MWP 特定理解任务上的有效性。

    Jul, 2021