大型语言模型中的符号数学问题推理
在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。
Dec, 2023
本文介绍了一种通过上下文表示学习的方式，将数值属性注入到符号占位符中的方法，以解决数值表示问题。我们将此想法引入到预训练语言模型（PLM）技术中，构建了一种有效的上下文数值表示 PLM（MWP-BERT）。我们在英文和中文基准上证明了 MWP-BERT 在 MWP 求解和几个 MWP 特定理解任务上的有效性。
Jul, 2021
该研究分析了现有的 NLP 求解器在解决低年级英语数学问题时的表现，指出现有求解器主要依赖于表面浅显的启发式策略。同时，研究提出了一个挑战数据集 SVAMP，并证明当前最优模型的表现还有很大的提升空间。
Mar, 2021
提出了一种名为 MathPrompter 的技术，它使用 Zero-shot chain-of-thought 提示技术生成多个代数表达式或 Python 函数，并以不同的方式解决相同的数学问题，从而提高模型在算术问题上的性能并提高置信水平。
Mar, 2023
本文研究倒向推理任务在数学问题中的应用，并提出了三种新技术以及一种基于贝叶斯公式的集成方法，这些方法显著提高了语言模型在倒向推理任务上的性能。
Oct, 2023
通过将大型语言模型与外部符号求解器相结合，我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法，并使用符号求解器解决问题，相较于 PAL 在解决代数类问题上性能提升了 20%。
Apr, 2023
Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。
May, 2023
利用深度学习的可解释逻辑，在 InterMWP 数据集上提出了 LogicSolver 算法，能够更好地理解和推理基于代数知识的数学问题，相比于现有方法在具备更强的逻辑解释能力的同时，答案的准确率也得到了提高。
May, 2022
通过 MathAttack 模型对数学问题进行逻辑实体识别和词级攻击，证明了 LLMs 的数学解决能力容易受到攻击，特别是在复杂数学问题方面的鲁棒性较差。
Sep, 2023