利用动态推理来开发 Transformer 激活稀疏性

Oct, 2023

利用动态推理来开发 Transformer 激活稀疏性

Exploiting Transformer Activation Sparsity with Dynamic Inference

Mikołaj Piórczyński, Filip Szatkowski, Klaudia Bałazy, Bartosz Wójcik

TL;DR通过激活稀疏性和动态决定每个令牌的执行专家数量的方法，Dynamic Sparsified Transformer Inference（DSTI）能够显著降低 Transformer 模型的推理成本，而且对准确性几乎没有影响。

Abstract

transformer models, despite their impressive performance, often face practical limitations due to their high computational requirements. At the same time, previous studies have revealed significant activation sparsity

transformer models activation sparsity dynamic sparsified transformer inference mixture of experts inference cost reduction

发现论文，激发创造

结构稀疏动态稀疏训练

本研究提出了一种基于 DST 方法的 N:M 结构稀疏化学习方案，其具有较高的稀疏度并支持常见的硬件加速方式，在理论和实践中都表现出较好的泛化性能与较低的推理时间。

May, 2023

朝着参数效率化迈进：具有动态容量的分层稀疏激活变压器

本文提出了分层专家混合（SMoE）模型，该模型具有分层结构，可以为不同令牌分配动态容量，可用于提高机器翻译中的性能和减少参数不足问题。SMoE 在两个多语言机器翻译基准测试上表现出色，优于多个最先进的 MoE 模型。

May, 2023

DynST: 资源受限时空预测的动态稀疏训练

本研究首次提出了一个称为 DynST 的行业级部署优化概念，采用动态稀疏训练和传感器部署来优化地球科学中的数据级别，通过迭代剪枝和稀疏训练，动态去除对未来预测贡献最小的传感器感知区域。

Mar, 2024

DynaST：用于范例引导图像生成的动态稀疏转换器

通过引入动态稀疏注意力机制的 Transformer 模型，本文提出了一种对样本指导图像生成进行 fine-level 匹配的方法，旨在提升匹配效果与计算效率。该方法在有监督和无监督场景下均可生成视觉上令人满意的图像，并在人物姿势生成、人脸细节合成和图像样式迁移等应用上表现出了显著的优越性。

Jul, 2022

使用弱监督和稀疏数据的稳健对话状态跟踪

本文介绍了一个基于 attention mechanism 的迁移学习方法，适用于在训练过程中缺乏丰富人工标注数据的情况下训练 extractive DST 模型，通过两种新颖的输入级 dropout 方法来减轻样本稀疏性的负面影响。我们的实验表明，提出的模型训练策略和架构方法在应对新概念、样本稀疏性等挑战时表现出优越性。

Feb, 2022

动态专家混合：高效 Transformer 模型的自动调优方法

通过引入动态的专家混合技术（DynMoE），我们的方法在视觉、语言和视觉 - 语言任务中取得了竞争性能，同时通过激活更少的参数来保持效率。

May, 2024

高效稀疏激活变压器

本文研究了在基于 Transformer 的神经网络中引入混合专家 (MoE) 层以优化推理延迟，并提出了一个名为 PLANER 的系统，能够在保持基准准确性的同时实现推理延迟的优化，实验结果表明，这种方法能够在两个真实的语言建模任务中实现超过 2 倍的推理延迟降低。

Aug, 2022

ST-MoE: 设计稳定且可转移的稀疏专家模型

本文关注自然语言处理中的训练不稳定和模型精确性问题，研究提出一种设计指南，通过将一个稀疏模型扩展到 269B 参数实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型 (ST-MoE-32B)。

Feb, 2022

一种基于专家混合的三维人体动作预测方法

本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

May, 2024

动态稀疏是通道级稀疏的学习器

本文提出 Channel-aware dynamic sparse (Chase) 方法：将 unstructured dynamic sparsity 转变为 GPU-friendly channel-level sparsity 加速 inference，通过逐渐去除 biased parameter reallocation across channels，不损失准确率地实现了 1.7 X inference throughput speedup on common GPU devices with ResNet-50 on ImageNet。

May, 2023