通过实验证明机器学习模型的机制使得 transformer 架构的激活图稀疏化，进而提出一种可以显著降低计算量并提高效率的方式。

Oct, 2022

基于梯度稀疏性和随机矩阵理论的激活稀疏性，该研究解释了深度模型中激活稀疏性的理论机制以及其在对抗鲁棒性和性能方面的重要性，并提出了几种用于训练和稀疏调整的模块和修改的方法。

Sep, 2023

通过剪枝层来诱导和利用稀疏激活是提高深度网络计算效率的一种有前途的方法，本论文使用大尺度高斯过程极限分析了随机初始化时诱导隐藏层稀疏性的非线性激活函数，证明了一种先前未报告的培训不稳定性，并表明通过剪枝激活函数的幅度，可以克服这种不稳定性，理论验证和数值实验表明，这种剪枝激活函数能够在训练和测试时保持接近完全准确度的同时达到高达 85％的稀疏度。

Feb, 2024

本研究论文介绍了一种基于转换的 l1 正则化方法来诱导激活图的稀疏性，以改善激活稀疏诱导领域的研究。同时，本方法与传统修剪结合，构成了双稀疏训练框架。实验结果表明，该方法在大多数模型和相应数据集上可以实现超过 20% 的激活图稀疏度提升，同时不影响准确性。另外，双稀疏训练框架能够大大减少计算负载并降低运行时所需的存储。

May, 2024

提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。

Apr, 2020

本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

Jan, 2018

许多成功的神经网络结构中的核心组件是一个具有非线性激活函数的两个全连接层的 MLP 块。我们在本文中对展示出激活稀疏性的 MLP 层的 PAC 可学习性进行了形式化研究，并呈现了多种实验结果，表明这类函数相对于非稀疏的对应物具有计算和统计上的优势。我们希望对 “激活稀疏” 的网络有更好的理论认识，以便能够在实践中利用激活稀疏性。

Jun, 2024

通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

Sep, 2023

利用 Mixture-of-Activation-Sparsity-Experts 将神经激活分解为高激活和低激活成分，结合领域信息和自适应特征选择阈值，通过引入 Homeostatic-Proximal 损失解决了模型连续适应中的问题，从而在分类和分割任务中达到了最先进的性能。

May, 2024

基于 Contextually Aware Thresholding for Sparsity (CATS) 的新框架用于稀疏化大型语言模型的激活并降低推理成本，在不需要微调的情况下，CATS-based 模型可以在 50% 的激活稀疏程度下实现与基础模型 1-2% 的下游任务性能，并且具有更快的收敛速度和更好的任务性能。

Apr, 2024