通过实验证明机器学习模型的机制使得 transformer 架构的激活图稀疏化，进而提出一种可以显著降低计算量并提高效率的方式。

Oct, 2022

我们探讨了参数稀疏性对在大规模数据集上训练的 Transformer（即 “基础模型”）的扩展行为的影响，涉及视觉和语言领域。我们首次确定了描述权重稀疏性、非零参数数量和训练数据量之间关系的扩展定律，并通过 ViT/JFT-4B 和 T5/C4 在模型和数据规模上进行了实证验证；这些结果使我们能够表征 “最佳稀疏度”，即对于给定的有效模型大小和训练预算，可以在其中获得最佳性能的稀疏度水平。我们发现，在非零参数数量固定时，最佳稀疏度随着用于训练的数据量增加而增加。我们还将研究扩展到了不同的稀疏结构（如硬件友好的 n:m 模式）和策略（如从预训练的稠密模型开始）。我们的发现揭示了在各种参数和计算设置中权重稀疏性的能力和局限性，为利用稀疏性提高计算效率提供了理论理解和实际意义。

Sep, 2023

基于变形器架构的稀疏令牌选择任务分析，训练过程中表现出强大的某些任务的泛化能力。

Jun, 2024

本研究提出了一种用于构建下一代 Transformer 模型的方法，即利用稀疏层进行有效缩放和高效执行非批量解码。结果表明，这种模型在拥有相同参数数量的情况下，可以获得与标准 Transformer 相同的效果，并且在长文本摘要方面表现优异。

Nov, 2021

利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数，但通过剪枝会影响模型的学习表征，随着剪枝过程中低振幅权重的削减，语义信息的复杂性首先降低，同时在保持注意力机制的一致性的情况下，稀疏模型的早期层开始了更多的编码。

Sep, 2020

本文探讨了低秩训练技术作为训练大型神经网络的替代方法，介绍了一种名为 ReLoRA 的新方法，并将其应用于多达 350M 参数的预训练 transformer 语言模型的训练，并证明了与常规神经网络训练相当的性能。与此同时，我们发现 ReLoRA 的效率随着模型大小的增加而增加，这使其成为高效训练多十亿参数网络的有前途的方法。我们的发现揭示了低秩训练技术的潜力及其对缩放定律的影响。

Jul, 2023

通过澄清 softmax 函数与 Boltzmann 算子之间的联系，我们证明具有低秩权重矩阵的自注意力单层具备完美捕获整个输入序列上下文的能力，从而表明单层 Transformer 具有有限样本的记忆能力，并且由一个自注意力层和两个前馈神经网络组成的 Transformer 是紧致域上连续函数的通用逼近器。

Jul, 2023

本文对 Transformers 和 recurrent models 的归纳偏差进行大量实证研究，发现 Transformers 在形式语言的建模上相对较弱，但其在归纳偏差方面与 recurrent models 存在差异，可解释其在泛化性能方面表现优异。

Nov, 2022

研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。

May, 2020

本论文研究了基于稀疏性的数据模型在信号处理和成像应用中的应用。特别关注了稀疏变换学习，提出了基于多层分层扩展的学习算法，并在图像去噪的数值实验中证明了其有效性。多层模型比单层方案具有更好的去噪质量。

Oct, 2018