该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

Feb, 2024

利用适应性输入实例的简单算法AdaInfer，在Large Language Models的推理阶段中使用浅层次进行简单实例的推理和深层次进行困难实例的推理，可在节省计算资源的同时保持性能。

Mar, 2024

通过分析Transformer语言模型中的机制，研究揭示了其通过低秩通信信道在不同层之间传递和存储特征的方式，通过分解注意力头权重矩阵进而预测层间相互作用的方法，以及利用该机制改善内部模型表示和权重来提升任务性能的结构学习，为进一步分析复杂行为提供帮助。

Jun, 2024

利用新提出的框架，将大型语言模型与文本到图像生成模型灵活地集成在一起，并通过消除固有的位置偏差和增强文本表示能力提高预测性能。

Jun, 2024

通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高LLMs的准确性并避免权重调整。

Jun, 2024

追踪了70百万到28亿参数规模的3000亿标记的解码器型大语言模型中模型机制的出现和演化，发现任务能力和支持它们的功能组件在规模不同的情况下一致地出现，并且虽然这些组件可能随时间由不同的注意力头实现，但其实施的总体算法保持不变。这些结果表明，在预训练结束后进行的对小型模型的线路分析仍然适用于额外的预训练和不同规模的模型。

Jul, 2024

通过直接在多个层之间共享计算的注意力权重，利用传统注意力机制带来的计算和存储资源消耗问题，这篇论文介绍了一种新型的共享注意力（Shared Attention）机制，实现在资源有限环境下提高大型语言模型（LLMs）的效率。

Jul, 2024

本研究针对大型语言模型中由于深度和参数数量增加而导致的冗余问题，提出了一种新的解决方案。通过深入分析，发现各层之间的注意力模式高度相似，因此引入了一种名为LiSA的轻量级自注意力替代方案，它通过小型前馈网络对齐相邻层的注意力头并利用低秩矩阵近似层间注意力权重的差异。实验表明，LiSA在减少53-84%冗余计算的同时，保持了高响应质量。

Aug, 2024

本研究针对大型语言模型（LLMs）在理解和处理文本中的不透明性问题，通过研究模型中各层的重要性来填补这一空白。我们提出了一种高效的抽样方法，利用Shapley值评估层的重要性，并通过剖析实验显示，某些早期层被称为“基石层”，其移除会导致模型性能显著下降。这一发现为未来的LLM研究提供了重要的基础。

Sep, 2024

该研究针对大型语言模型（LLM）在处理长上下文输入时资源消耗和延迟增加的问题，提出了一种新方法，以加速推理并减少GPU内存使用。通过利用LLM早期层筛选相关令牌，研究开发了GemFilter算法，实现了比现有技术显著的速度提升（2.4倍）和30%的内存使用减少，具有广泛的适用性和可解释性。

Sep, 2024