LLM 的卓越稳健性：推理阶段？

Jun, 2024

The Remarkable Robustness of LLMs: Stages of Inference?

Vedang Lad, Wes Gurnee, Max Tegmark

TL;DR通过删除和交换相邻层，我们展示并研究了大型语言模型的显著健壮性，并发现删除和交换方法可以在不进行微调的情况下保留原始模型预测准确性的 72-95％，而具有更多层的模型表现出更强的健壮性。基于逐层干预和进一步实验的结果，我们假设了跨 8 个不同模型的四个普遍推理阶段的存在，即去标记化，特征工程，预测集成和残余调整。第一个阶段将局部信息融合，将原始令牌表示提升为更高级别的上下文表示。接下来是任务和实体特定特征的迭代改进。然后，模型的后半部分开始时进行相位转变，由于专用模型组件，隐藏表示与词汇空间更加一致。最后，最后一层通过消除向预测添加噪音的过时特征来调整后续令牌分布。

Abstract

We demonstrate and investigate the remarkable robustness of Large Language Models by deleting and swapping adjacent layers. We find that deleting and swapping interventions retain 72-95\% of the original model's prediction accuracy without fine-tuning, whereas models with more layers e

large language models deleting and swapping prediction accuracy universal stages of inference residual sharpening

发现论文，激发创造

推理过程中不需要所有 LLM 层

利用适应性输入实例的简单算法 AdaInfer，在 Large Language Models 的推理阶段中使用浅层次进行简单实例的推理和深层次进行困难实例的推理，可在节省计算资源的同时保持性能。

Mar, 2024

為什麼举得那麼重？通过削减层数减轻大型语言模型

通过减少层数，可以缩小大型语言模型的规模，而仍能保持或提升其在文本分类任务中的性能水平。

Feb, 2024

通过启用中间层解码加速 LLM 推理

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

使用大型语言模型进行可解释的逻辑推理的 Selection-Inference 方法

本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

May, 2022

超越表面：探测不同尺度和层级的 LLaMA

本文详细分析了大型语言模型（LLMs），重点关注自然语言处理中一种重要的开源基础模型 LLaMA。通过设计选择题任务来评估 LLaMA 在高阶任务（如推理和计算）中的内在理解能力。我们水平对比不同大小的模型，垂直评估不同层次的模型，并揭示了基于设计的评估任务的几个关键而不寻常的发现：（1）在水平分析中，扩大模型规模几乎无法自动带来额外的知识或计算能力，但可以增强推理能力，特别是在数学问题解决方面，并有助于减少幻象，但只有超过一定规模阈值才能实现；（2）在垂直分析中，LLaMA 的较低层次缺乏实质性的算术和事实知识，展示了逻辑思维、多语言和认知能力，而顶层具有最大的计算能力和现实世界的知识。

Dec, 2023

多阶段大型语言模型纠错用于语音识别

使用大型语言模型提高竞争性语音识别系统的性能，并通过多阶段方法结合传统语言模型重新评分和大型语言模型提示来进行 ASR 错误修正。

Oct, 2023

神奇的语义与去寻找它们：探究生成语言模型中反映词汇语义的层面

大型语言模型中的词汇语义在不同层次上具有不同的演化形式，较低层次的表示编码了词汇语义，而较高层次的表示则更适用于预测任务。

Mar, 2024

大型语言模型如何编码上下文知识？一项逐层探测研究

通过探究任务，我们在本文中首次尝试研究大型语言模型（LLMs）的逐层能力，并利用 ChatGPT 的生成能力构建了探测数据集，以提供与各种事实相对应的多样且一致的证据，结果表明 LLMs 在编码上下文知识方面更倾向于将更多知识码在上层，首先将知识与实体标记在较低层编码，然后在上层逐渐增加其他标记中的知识，并在提供无关证据时逐渐忘记中间层保留的较早的上下文知识。

Feb, 2024

估算和提高语言模型的强健性的方法

通过研究大型语言模型的泛化能力问题以及多种提高其分布韧性的方法，本文提出了未来改进大型语言模型鲁棒性的研究方向。

Jun, 2022

序列标注的语言模型剪枝：高效的上下文表示

本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。

Apr, 2018