大型语言模型中的量词理解探究

Jun, 2023

Probing Quantifier Comprehension in Large Language Models

Akshat Gupta

TL;DR本文探讨了大型语言模型在量词理解方面的能力，发现传统的测试方法导致了对 LLM 在 few-type quantifiers 上理解能力逆反缩放的错误认知。研究者提出了替代方法，发现随着模型规模的增加，LLM 在量词理解方面的表现与之前的研究不同，并揭示了 most-type quantifiers 存在逆反缩放的特性，这与人类语言认知实验和以前的研究相反。

Abstract

With their increasing size, large language models (LLMs) are becoming increasingly good at language understanding tasks. But even with high performance on specific downstream task, LLMs fail at simple linguistic tests for negation or quantifier understanding. Previous work on testing c

large language models quantifier comprehension inverse scaling law few-type quantifiers most-type quantifiers

发现论文，激发创造

很少 ' 成问题吗？自然语言模型在预测上表现出与 ' 少量 ' 类量词相反的缩放

语言模型在量化任务中表现较差，特别是在 Few-type 的量化词上，而且模型越大，表现越差。这暗示着越大的模型越倾向于反映在线而非离线的人类语言处理，并且这种表现下降可能挑战语言模型作为自然语言系统基础的应用。

Dec, 2022

使用语言模型的学习界限

本文研究大语言模型在自然语言处理中的局限性，特别是无法学习一些基本语义属性，如语义蕴涵和一致性，以及不能学习超越 Borel 层次结构的概念，这对语言模型的语言理解能力产生了严重限制。

Jun, 2023

量化 LLM 在规模和精度方面的能力

通过对模型规模和量化的综合评估，发现在各种任务中，规模较大的模型通常优于规模较小的模型，同时大规模模型对于精度降低有很好的韧性，可在较小的内存要求下保持高准确性，因此它们比使用更小的模型更好。

May, 2024

大型语言模型的量化策略的全面评估

对大型语言模型的量化技术进行研究，发现 4 位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

大型语言模型的数量化知识检索

大型语言模型可用于定量信息检索，以帮助数据分析任务，如贝叶斯模型的先验分布以及缺失数据的插补。我们提出了一个提示工程框架，将大型语言模型视为科学文献的潜在空间界面，并与其他已建立的方法进行比较。同时讨论了使用大型语言模型作为 “专家” 的影响和挑战。

Feb, 2024

大型语言模型对语法的理解程度如何？通过提问自然语言问题进行评估

通过语法学习角度探索大型语言模型对语言的理解，并发现语法学习在训练初期起到至关重要的作用，增加训练数据并非提高理解能力的灵丹妙药。

Nov, 2023

反直觉：大型语言模型比我们认为的更能理解知识图谱

我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

Feb, 2024

人类和 LLMs 中的视觉对象命名、描述和量化

当前的视觉与语言大型语言模型（VLLMs）在捕捉人类命名偏好方面的能力存在问题，尤其在需要高级推理能力的任务中，例如指定量词。

Mar, 2024

通过问答探究语言模型对结构化语义理解和生成的能力

最近大规模语言模型能力的进步引发了对其评估的新浪潮，这篇研究工作通过在自然语言和形式语言之间的相互转换来验证大规模语言模型理解和生成结构化逻辑形式的能力，实验证明现今最先进的大规模语言模型在理解逻辑形式方面整体上接近人类水平，但在生成正确逻辑形式方面仍有改进的空间，使用大规模语言模型生成更自然的语言训练数据以增强小型模型的效果更好，同时结果还表明模型对不同形式语言表现出显著的敏感性，总体而言，形式化程度较低、更接近自然语言的形式语言对大规模语言模型更友好。

Jan, 2024

量子化大型语言模型中是否存在突现能力：一项实证研究

本文研究了量化对语言模型的影响，重点关注了量化对模型的新兴能力、上下文学习、思维链推理和指令跟随等的影响，实验证明 4 位量化模型仍然存在这些新兴能力，而 2 位模型在这些能力测试中遭受严重性能下降，通过模型微调和特定分析方法，本文揭示了量化对新兴能力影响的一系列重要发现，并为极低位量化提供了思路。

Jul, 2023