Sep, 2021
NumGPT:提升生成式预训练模型的数学能力
NumGPT: Improving Numeracy Ability of Generative Pre-trained Models
Zhihua Jin, Xin Jiang, Xingbo Wang, Qun Liu, Yong Wang...
TL;DR本文提出了 NumGPT,这是一种专门用于数学推理的预训练模型,其采用枚举法嵌入来明确地表示文本中的数字特性,并设计了一种数字感知的损失函数,该模型在评估数字能力时的结果表明,其在测量估计、数字比较、数学问题和数量分类等一系列数学推理任务上优于基线模型(如 GPT 和带 DICE 的 GPT)。