Sep, 2023

大型语言模型中的突现能力是否只是针对上下文的学习？

PDF
TL;DR通过一系列超过 1000 次实验，我们对包含 60 百万到 1750 亿参数范围内的 18 个模型进行了严格测试，在包括 22 个任务在内的全面任务集上提供了有力证据，表明新兴能力主要可以归因于上下文学习，并没有发现推理能力的出现，从而为我们对于观察到的能力背后的机制提供了宝贵的洞见，并缓解了对于它们使用的安全问题的担忧。
发现论文，激发创造
  • 大型语言模型的新兴能力

    探讨了语言模型的可扩展性问题，发现通过扩展语言模型的规模，可以实现一些新的能力和提升性能。

    Jun, 2022

  • 大型语言模型的新兴能力是否是海市蜃楼？

    针对大型语言模型的研究表明，一些表观的新能力可能是研究人员在分析过程中选择了不同的度量标准而得出的结果，而非模型行为的本质变化，我们在使用简单的数学模型进行确认后得到支持证据。

    Apr, 2023

  • 简化规模生成式语言模型中的新能力

    通过简化预训练数据，研究表明在训练数据规模较小的模型上，也能出现零样本学习能力，并且模型规模大小与计算资源、数据集大小之间呈现幂律关系。

    Apr, 2024

  • LLM 的神秘与魅力：对新能力的解释与分析的全面调查

    对大型语言模型的现象能力进行解释和分析的广泛调查，包括宏观和微观两个层面的研究，并强调了相关挑战和未来研究的潜在方向。

    Nov, 2023

  • 从损失的角度理解语言模型的新能力

    通过预训练损失来重新定义新能力，发现较低预训练损失的模型呈现出的性能趋势不可被简单地推断，表现出较高的新能力。

    Mar, 2024

  • 一种基于上下文的突现学习理论：隐式结构归纳

    该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这种学习得到的支持与其输入的组成结构有关。

    Mar, 2023

  • 量子化大型语言模型中是否存在突现能力：一项实证研究

    本文研究了量化对语言模型的影响，重点关注了量化对模型的新兴能力、上下文学习、思维链推理和指令跟随等的影响，实验证明 4 位量化模型仍然存在这些新兴能力，而 2 位模型在这些能力测试中遭受严重性能下降，通过模型微调和特定分析方法，本文揭示了量化对新兴能力影响的一系列重要发现，并为极低位量化提供了思路。

    Jul, 2023

  • 关于大型语言模型的意外能力

    大型语言模型的能力不仅局限于预测人类书写文本的下一句，还包括间接获取能力、综合能力的发展、可预测性以及与人类认知的关系。

    Aug, 2023

  • 大型语言模型中的紧急类比推理

    本研究探讨了大型语言模型（比如 GPT-3）在模拟人类的模拟推理能力方面的表现，特别是它在没有直接训练的情况下是否能够进行零样本推理。研究发现，GPT-3 在抽象模式归纳方面具有出色的能力，并能够在大多数场景中匹配或超过人类的能力。因此，大型语言模型能够在许多类比问题中找到零样本解决方案。

    Dec, 2022

  • 大型语言模型是上下文语义推理者而非符号推理者

    本文研究了大型语言模型 LLMs 的推理能力，通过对语义从推理过程中的剥离进行实验，发现语义在 LLMs 的推理中起着至关重要的作用，但在符号逻辑和违反常识的推理任务中表现出困难。作者提出了这一发现的新视角，并呼吁深入研究 LLMs 的推理机制。

    May, 2023