本文提出一种基于稀疏矩阵的计算优化方法，通过对深度学习应用中的稀疏矩阵进行深入研究，开发出可用于稀疏矩阵与密集矩阵乘法和采样密集 - 密集矩阵乘法的高性能 GPU 核，实现了神经网络模型的加速和内存节省。

Jun, 2020

本文提出了一种新颖的架构来有效地利用权重和激活的稀疏性，通过外积计算原语和位图编码格式将二者结合起来。通过针对现有常见计算模式（矩阵乘法和卷积）的矩阵乘法和卷积算法的协同设计，提出一组新的 ISA 扩展，实现了这种设计，抓住现今深度神经网络模型的两个主流计算模式的稀疏性，并证明了我们的设想可以显著提高性能。

May, 2021

提出了 Magicube，这是一个适用于低精度整数的高性能稀疏矩阵库，支持深度学习中的两个主要稀疏操作（SpMM 和 SDDMM）在 Tensor Cores 上的混合精度加速，实验结果显示，相对于供应商优化库，Magicube 平均提高了 1.44 倍（最高提高到 2.37 倍），而且即使精度相当，相对于同类技术，性能也提高了 1.43 倍。

Sep, 2022

本文提出了一种算法 - 软件共同设计的剪枝方法，采用 “分块友好” 的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在 GPU 笔记本上成功地实现了 1.95 倍速度提升的优化效果。

Aug, 2020

逐渐成功和扩大规模的深度学习模型对计算效率和功耗提出了更高的要求。稀疏化能够导致模型更小、计算效率更高，并且加速硬件已经得到应用。本文提出了一种新的格式 V:N:M，用于在 NVIDIA 的 Sparse Tensor Cores 上执行任意 N:M 比例的稀疏化计算，并通过高性能稀疏库 Spatha 实现了高达 37 倍的加速，在现代 transformers 中实现高稀疏度而几乎不降低准确性的二阶裁剪技术。

Oct, 2023

本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

Jun, 2019

本论文综述了利用稀疏度、大小缩减和张量量化压缩超参数化模型以提高 ML 模型效率的方法，并分析了在硬件加速器上加速处理的机会和挑战，其中包括加速器系统的增强模块以支持其高效计算、不同硬件设计和加速技术、可实现 DNN 的加速、结构化稀疏度如何提高存储效率和平衡计算以及在加速器上如何编译和映射具有稀疏张量的模型的设计趋势。

Jul, 2020

使用 NVIDIA Ampere GPU 利用 2:4 稠密 / 稀疏矩阵相乘的性质对 Transformer 的预训练进行加速，通过修改稀疏优化过程中的估计器和在预训练末端进行简单而有效的稠密微调，以及利用卷积计算可转置的 2:4 掩码和减少 GPU L2 缓存缺失来加速门控激活函数，实验结果表明我们提出的方法在不同 2:4 训练方法中达到最佳性能，并在不同形状的 Transformer 块上实现了实际加速。

Apr, 2024

本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

Nov, 2016

本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

Nov, 2018