本文提出一种基于共享注意力权重和隐藏状态重用的快速、轻量级的注意力模型，用于加速Transformer机器翻译系统，在十项WMT和NIST OpenMT任务上实现了平均1.3倍的速度提升（几乎不降低BLEU）和与Aan模型的1.8倍加速（比没有使用注意力缓存的基线高出16倍）。

Jun, 2019

本文提出了一种多头注意力机制的改进方法，将注意头的大小设置为输入序列长度，从而使注意机制的表达能力更强，能够在较小的嵌入维度下训练模型，并提高模型的性能。

Feb, 2020

将大型语言模型（LLMs）转换为多模式大型语言模型（MLLMs）的有效策略，通过调整LayerNorm来实现性能提升和模型表现力改善。该策略相较于其他调整方法具有高效性，同时进一步使用对话数据进行选择性调整能够提高效率。

Dec, 2023

大型语言模型的训练可以通过前向计算和后向计算来实现，前向计算可以被视为注意力函数的评估，后向计算可以被视为梯度计算。本文证明了在某些参数范围内前向计算可以在几乎线性的时间内完成，但在其他参数范围内，除非流行的假设SETH是错误的，否则没有真正的次二次时间算法；我们同样在计算单层注意力网络损失函数梯度的更难问题上展示了几乎相同的结果，从而完全揭示了LLM训练每个步骤的细粒度复杂性。

Feb, 2024

通过解锁多头注意力的潜力，我们提出了一个无需额外训练的框架 LongHeads，以增强大语言模型（LLMs）在处理长篇输入方面的能力，通过选择和关注重要的上下文块来确保各个头能够有效地处理训练长度内的被关注的标记，同时不同层的不同头可以共同处理更长的上下文，有效地扩展了现有模型的可用上下文窗口，展示了对增强长文本理解的潜力。

Feb, 2024

本文提出了一个关于大型语言模型的关注头权重共享的方法，并提出了两种内存高效的共享参数的方法，即DirectShare和PostShare。实验结果表明，我们的关注头共享模型仍然保持了令人满意的性能，证明了将细粒度的权重共享应用于大型语言模型的可行性。

Feb, 2024

通过观察Low-Rank Adaptation在fine-tuning任务中的层内特性，我们发现了一种不同层之间权重归一化的不寻常偏度，利用这一关键观察，我们发现了一种非常简单的训练策略——Layerwise Importance Sampled AdamW（LISA），它在减少内存消耗的同时，超越LoRA及全参数训练，在大范围设置的下游fine-tuning任务中表现出色。

Mar, 2024

通过细致研究和可视化大型语言模型（LLMs）中的注意力分布，本研究发现注意力汇的存在可以通过在提取信息时实时优化的了解，从而提高LLMs的准确性并避免权重调整。

Jun, 2024

通过直接在多个层之间共享计算的注意力权重，利用传统注意力机制带来的计算和存储资源消耗问题，这篇论文介绍了一种新型的共享注意力（Shared Attention）机制，实现在资源有限环境下提高大型语言模型（LLMs）的效率。

Jul, 2024

本研究探讨了解码器基础的LLM中各层表示的作用，指出注意力机制的某些层次作用被高估。研究通过操作前置标记的表示，发现顶层的修改对性能影响有限，而早期层的修改则可能导致性能下降。这表明了变换器基础LLM中可能存在的两阶段处理流程。

Sep, 2024