Jul, 2023

数学单词问题解题器的解释

TL;DR基于神经网络的自动数学问题求解器在解决算术问题方面成功地达到了 70-80%的准确率,然而研究表明这些求解器可能依赖表面模式得到方程。为了确定数学问题求解器使用哪些信息生成解答,我们移除输入的一部分并测量模型对扰动数据集的表现。结果表明,当给出无意义问题时,即使从输入中删除许多单词,模型也不敏感并仍能找到正确答案。这表明自动求解器并不遵循数学问题的语义逻辑,可能过拟合于特定单词的存在。