大型语言模型中的数字大小比较效应

ACLMay, 2023

Numeric Magnitude Comparison Effects in Large Language Models

Raj Sanjay Shah, Vijay Marupudi, Reba Koenen, Khushi Bhardwaj, Sashank Varma

TL;DR本文研究大型语言模型（LLMs）是否能够准确地表示数字，并发现尽管缺少直接支持这些表示的神经电路，不同结构的 LLMs 中存在着类似于人类语言使用者的数字表示，这证明了使用行为基准理解 LLMs 的实用性，并为今后关于 LLMs 数字表示和它们的认知合理性的研究指出了方向。

Abstract

large language models (LLMs) do not differentially represent numbers, which are pervasive in text. In contrast, neuroscience research has

发现论文，激发创造

研究表明大型语言模型在理解和利用数字以及在数学问题上进行计算方面具有部分能力。

Jan, 2024

本研究探讨了预训练语言模型在把握物体的标量数量方面的表现情况及其在常识推理中的不足，发现语言模型能够捕获相当数量的关于数量的信息，但性能受上下文信息和数字知识的影响，文中提出了一个简单的标准化数字的方法，具有显著的结果改进。

Oct, 2020

大型语言模型在进行算术任务中对多位数乘法的可信准确预测能力较强，而对单位数乘法可信准确预测的能力较差，但在给出正确的高位数字作为条件下，后者任务的可信准确预测能力可以大幅提升。

Jun, 2024

人类的数字系统和度量单位是两个相互关联的主题，它们与表达这些主题的语言有着相互影响。本文通过构建带有扰动的数据集，研究已有的大型语言模型在处理数字和度量单位时遇到的困难，从语言到数字的数字转换和基于单位的度量转换都是数学问题的不同子过程。实验表明，大型语言模型在处理数字和度量转换方面仍然存在困难。

Jun, 2024

通过调整数字的表示方式，使用 NumeroLogic 格式，我们为语言模型处理数字数据和执行算术运算的困难提供了解决方法，并改进了自然语言理解性能。

Mar, 2024

综合分类了 NLP 中与数字相关的任务和方法，分析了 18 种数字编码器和解码器的多样性代表性选择和最佳实践，提出了在自然语言处理中实现整体数字能力的愿景，并明确了设计考虑和统一评估。

Mar, 2021

研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

May, 2024

本文研究了预训练语言模型在理解数字和测量值上的能力，并提出了一种嵌入策略来更好地区分数字和单位，以提高模型性能。

Oct, 2022

大型语言模型在知识获取和统计推理方面取得了稳定进展，但在常识推理任务中仍存在局限性，纯统计学习难以应对其中的组合爆炸问题，更大并不总是更好，而且单纯追求统计改进只会加重正确答案与真正推理能力之间的危险混淆。

Apr, 2024

通过对三种不同模型的测试（Bard、ChatGPT-3.5 和 ChatGPT-4）以及与人类结果的比较，研究了模型大小对于语言模型性能的影响，发现模型大小的增加可以提高性能，但语言模型仍不如人类敏感。

Apr, 2024