Jul, 2022

动态空间稀疏化：用于高效视觉 Transformer 和卷积神经网络的优化

PDF
TL;DR本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。
model accelerationspatial sparsitytoken sparsificationvision transformersasymmetric computation
发现论文，激发创造
  • DynamicViT：动态 Token 稀疏化的高效视觉 Transformers

    提出了一种动态的、基于输入的 Token 稀疏化框架，通过阈值删除多余的信息元素，并通过自注意力网络的特性，使其仍然具有硬件友好性。在保证精度的同时，相比现有 CNN 和 Transformer 模型，通过分层删减 66% 的输入元素，可以大大减少 FLOPs、提高吞吐量。

    Jun, 2021

  • SPViT：通过软件 Token 剪枝加速视觉 Transformer

    通过利用输入令牌稀疏性并提出计算感知的软剪枝框架，可以大幅减少 Vision Transformer 计算成本，并满足移动设备和 FPGA 的资源规格要求，甚至在移动平台上实现 DeiT-T 的实时执行。

    Dec, 2021

  • DeSparsify: 视觉 Transformer 中针对标记稀疏化机制的对抗性攻击

    我们提出了 DeSparsify，一种针对使用 token sparsification 机制的 vision transformers 的攻击，目的是耗尽操作系统的资源，同时保持其隐蔽性。我们对三种 token sparsification 技术进行了评估，并研究了攻击在它们之间的传递性及其对 GPU 资源的影响。为了减轻攻击的影响，我们提出了各种对策措施。

    Feb, 2024

  • Sparsifiner：学习稀疏实例相关注意力以提高视觉 Transformer 的效率

    本文提出了一种基于学习的、实例相关的注意力机制来加速 Vision Transformers 网络，其将自注意力操作限制在空间上邻近的一组 Token 上，并通过轻量级的连接性预测器模块评估 Token 之间的连接得分来解决由结构化注意力模式引起的语义信息丧失问题，可以在保证准确率下显著减少计算量，达到更优的精度－计算复杂度平衡点，进一步结合 Token 稀疏机制，该方法可以将 Vision Transformers 网络的 FLOPs 降低超过 60%。

    Mar, 2023

  • 一种用于 Vision Transformer 的快速无需训练的压缩框架

    提出优化 Transformer 模型 (ViT) 部署过程中训练代价高的问题的快速无需训练压缩框架，其中包括初层的稠密特征提取器、压缩率更高的模型和利用空间关系的局部 - 全局令牌合并方法，在多个模型上实现了至多 2 倍的 FLOPS 减少和 1.8 倍的推理吞吐量提升，训练时间比现有方法节省两个数量级。

    Mar, 2023

  • 稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

    SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

    Nov, 2023

  • 动态基于核的自适应空间聚合方法用于学习图像压缩

    在本研究中，我们扩展了空间聚合能力并提出了一种动态内核的变换编码方法，使用自适应聚合产生内核偏移来捕获有效信息，同时引入了广义粗到细的熵模型和不对称的空间通道熵模型，实验结果表明我们的方法在三个基准测试中达到了优于最先进的基于学习的方法的速率失真性能。

    Aug, 2023

  • 在视觉 Transformer 中追求稀疏性：一次端到端的探索

    本文旨在从减小训练存储开销和推理复杂度的角度，提出一种先将 Vision transformers 稀疏化，然后再训练的方法，从而实现一定的加速效果并保持较高的精度。

    Jun, 2021

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • AiluRus：一个用于密集预测的可扩展 ViT 框架

    通过自适应分辨率和聚类算法，提出一种用于处理密集预测任务中长序列的视觉 Transformer 方法，实现对低分辨率和高分辨率区域的区分，从而加速模型并获得有希望的表现。

    Nov, 2023