TorchSparse++ 是一个新的 GPU 库，通过高效的稀疏卷积内核生成器和稀疏自动调整器，能够以极低的工程成本实现高性能的稀疏卷积计算，并在推理和训练任务中实现了显著的加速。

Oct, 2023

本论文提出了一种基于定常块大小的高效稀疏深度学习推断软件堆栈，可以将稀疏加速器应用于 Transformer-based 语言模型，我们的稀疏加速器在处理各种 GEMM 形状时，比现有的稀疏库快一个数量级，在 Xeon 上具有高效的性能。

Jun, 2023

本文介绍了 GE-SpMM 方法，该方法可以在 GPU 上进行支持高通用性的稀疏矩阵加速操作，并且在真实的图像数据集上实验表明，GE-SpMM 可以在 Nvidia cuSPARSE 和 GraphBLAST 上实现高达 1.41 倍和 1.81 倍的加速，且在 GNN 模型上可以获得高达 3.67 倍的加速效果。

Jul, 2020

人工智能在现代社会中的作用日益重要，高效训练和部署深度神经网络成为关注的重点之一。脉冲神经网络（SNNs）通过利用时间稀疏计算提供了提高能源效率的方法，但其训练由于其循环性质而具有一定挑战性。本文介绍了 Spyx，这是一个基于 JAX 设计的新型轻量级 SNN 模拟和优化库，通过在现代加速器的扩展 vRAM 中进行预存数据，并采用大量的即时编译，Spyx 使得 SNN 优化能够作为统一的低级程序在 NVIDIA GPU 或 Google TPU 上执行，实现了最佳的硬件利用率，并在保持相当灵活性的同时超越了许多现有的 SNN 训练框架的性能。

Feb, 2024

本论文提出了一种新的稠密和稀疏矩阵基元的选择和组合方法，使用自适应策略来选择最佳组合，以加速在各种输入图形和 GNN 嵌入大小上的表现，并在与经过良好调整的基线的比较中展示出不同的协同表现优势。

Jun, 2023

针对图神经网络训练过程中稀疏矩阵运算效率低下、采样也更加困难的问题，我们基于资源分配和缓存上一轮采样的解决方案，提出了一种名为随机稀疏计算的方法，能够在几乎不降低精度的情况下取得了专门针对稀疏矩阵运算加速的显著效果。

Oct, 2022

提出了 SparseTIR，一种为深度学习工作负载提供可组合格式和可组合转换的稀疏张量编译抽象。SparseTIR 对于单一操作符可以比供应商库获得 1.20-2.34 倍到 7.45 倍的性能加速。

Jul, 2022

本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

Jun, 2019

本文主要研究稀疏矩阵操作在机器学习应用中的三个方面，分别是稀疏 - 稠密矩阵乘法（SPMM）、采样稠密 - 稠密矩阵乘法（SDDMM）以及 SDDMM 与 SPMM 的组合。我们利用 Intel oneAPI 的显式 SIMD（ESIMD）SYCL 扩展 API 对 SPMM、SDDMM 和 FusedMM 操作进行了优化，与 CUDA 或 SYCL 相比，ESIMD API 能够编写明确向量化的内核代码。使用 ESIMD API 实现的稀疏矩阵算法在目标 Intel 数据中心 GPU 的性能接近峰值。我们将性能结果与 Intel 的 oneMKL 库在 Intel GPU 上和最近 NVIDIA V100 GPU 上的一个 CUDA 实现进行了对比，并证明了我们稀疏矩阵操作的优越性。

Nov, 2023

Scorch 是一个能够无缝集成高效稀疏张量计算到 PyTorch 生态系统的库，通过自动化关键优化，实现了在多个领域的深度学习模型中 1.05-5.78 倍的速度提升，为扩展深度学习和开发其他稀疏库提供了有价值的工具。

May, 2024