本文介绍一种利用CNNs 去处理罕见数据的工具套件，包括直接稀疏卷积、注意力机制避免填充，以及适用于标准学习框架的反向传播算法改进，可以实现比传统密集框架更低的内存足迹和计算时间。

Jan, 2018

本文提出了一种基于条件输入图像的动态卷积方法，其中通过引入一个小型门控分支来学习空间位置，以决定应该对哪些区域进行评估，通过在CIFAR、ImageNet和MPII数据集上的实验证明该方法在处理人体姿态估计等空间稀疏任务方面，相对已有方法具有更好的准确性和处理效率。

Dec, 2019

本文提出了一种名为Dynamic Transformer的方法，通过将多个变压器级联并在测试时以自适应方式逐个激活它们，自动配置每个输入图像的适当标记数。在ImageNet，CIFAR-10和CIFAR-100上的广泛实证结果表明，我们的方法在理论计算效率和实际推理速度方面显着优于竞争基线。

May, 2021

提出了一种动态的、基于输入的Token稀疏化框架，通过阈值删除多余的信息元素，并通过自注意力网络的特性，使其仍然具有硬件友好性。在保证精度的同时，相比现有CNN和Transformer模型，通过分层删减66%的输入元素，可以大大减少FLOPs、提高吞吐量。

Jun, 2021

本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将Vision transformers稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

Jun, 2021

本文提出了一种新框架Sparse Dynamic Convolution（SD-Conv），它将动态卷积和不规则剪枝结合起来，通过使用可学习阈值导出二值化掩码以减少参数和计算成本，在Imagenet-1K数据集上获得更高的性能，并在多个下游任务中展示出优于基线的表现，从而成为常规动态卷积的高效替代品。

Apr, 2022

本文提出了SparseViT，通过窗口激活剪枝技术对最近的基于窗口的视觉变换器(VITs)进行活化稀疏化处理，通过稀疏感知的调整和进化搜索，实现不同层次适应不同的剪枝比率优化。SparseViT在不降低准确性的前提下，分别在单眼3D目标检测、2D实例分割和2D语义分割中实现了1.5x、1.4x和1.3x的速度提升。

Mar, 2023

本文提出了 Spatial Re-parameterization (SpRe) 方法，用于 N:M 稀疏性在 CNN 中的应用。该方法可以在训练期间利用非结构化稀疏性的空间稀疏性分布来为 N:M 稀疏性模型分配一个额外的支路，使其可以维持类似于非结构化稀疏性的空间稀疏性分布。在推理期间，该额外的支路可以进一步重新参数化为主要的 N:M 支路，而不会对稀疏模式或额外的计算成本产生扭曲。SpRe 方法可以在各种基准测试中匹配 N:M 稀疏性方法的表现与最先进的非结构化稀疏性方法。

Jun, 2023

利用人眼的稀疏扫描机制，通过引入稀疏扫描自注意机制（S^3A）和稀疏扫描视觉Transformer（SSViT），有效降低计算负荷，达到在计算机视觉任务中出色的性能表现。

May, 2024

本研究发现在计算机视觉体系结构中的归纳偏置——局部性的必要性存在疑问，可以通过直接将每个像素视为标记并获得高性能结果来展示像素作为标记的有效性。

Jun, 2024