ACLJun, 2024

NUMCoT: 基于大型语言模型的链式思维推理中的数字和计量单位

PDF
TL;DR人类的数字系统和度量单位是两个相互关联的主题，它们与表达这些主题的语言有着相互影响。本文通过构建带有扰动的数据集，研究已有的大型语言模型在处理数字和度量单位时遇到的困难，从语言到数字的数字转换和基于单位的度量转换都是数学问题的不同子过程。实验表明，大型语言模型在处理数字和度量转换方面仍然存在困难。
发现论文，激发创造
  • NumeroLogic：增强 LLMs 数值推理的数字编码

    通过调整数字的表示方式，使用 NumeroLogic 格式，我们为语言模型处理数字数据和执行算术运算的困难提供了解决方法，并改进了自然语言理解性能。

    Mar, 2024

  • 语言模型是否理解计量单位？

    本文研究了预训练语言模型在理解数字和测量值上的能力，并提出了一种嵌入策略来更好地区分数字和单位，以提高模型性能。

    Oct, 2022

  • 从算术任务中学习多步推理

    本研究探究如何将较小的语言模型与多步推理能力相结合，通过在合成数据集 MsAT 上进行持续的预训练，我们的实验证明了该方法对增强语言模型的数学推理能力的有效性。

    Jun, 2023

  • VerityMath: 自校验实现的数学推理与单位一致性的推动

    通过定义单位并确保在数学运算过程中单位的一致性，我们提出了一种系统的方法来解决大规模语言模型在解决涉及跨多种类型或单位的数量的数学问题时面临的挑战。我们使用 Unit Consistency Programs（UCPs）为每个问题开发了一个带有单位规范和单位验证程序的数据集，并借助 UCPs 对 Code Llama（7B）模型进行了微调，从而产生了 VerityMath，并展示了我们的初步研究结果。

    Nov, 2023

  • 通过维度感知提升大型语言模型的量化推理能力

    该研究论文提出了一个基于维度感知的框架来增强语言模型的定量推理能力，并通过实验证明该方法在定量推理任务上比 GPT-4 模型提高了准确性（从 43.55% 提高到 50.67%）。

    Dec, 2023

  • 大型语言模型中的数字大小比较效应

    本文研究大型语言模型（LLMs）是否能够准确地表示数字，并发现尽管缺少直接支持这些表示的神经电路，不同结构的 LLMs 中存在着类似于人类语言使用者的数字表示，这证明了使用行为基准理解 LLMs 的实用性，并为今后关于 LLMs 数字表示和它们的认知合理性的研究指出了方向。

    May, 2023

  • 大型语言模型在数学推理方面的进展与挑战

    数学推理是评估人类智能基本认知能力的基石。该研究调查了大型语言模型在解决数学问题方面的真正进展、障碍、数学问题类型和相关数据集、解决数学问题的 LLM 技术范围、影响 LLMs 解决数学问题的因素和问题，并提供了这一快速发展领域中的现状、成就和未来挑战的整体观点。

    Jan, 2024

  • 大型语言模型能否将 2 和 2 相加？探测蕴含的数学关系

    大型语言模型在知识获取和统计推理方面取得了稳定进展，但在常识推理任务中仍存在局限性，纯统计学习难以应对其中的组合爆炸问题，更大并不总是更好，而且单纯追求统计改进只会加重正确答案与真正推理能力之间的危险混淆。

    Apr, 2024

  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 语言模型对数字的理解，至少在某种程度上

    研究表明大型语言模型在理解和利用数字以及在数学问题上进行计算方面具有部分能力。

    Jan, 2024