本研究提出了一种基于CPU的深度学习引擎SLIDE，采用智能随机算法、多核并行和工作负载优化，通过针对大规模完全连接网络的训练，相对于优化的Tensorflow（TF）在最佳可用GPU上进行训练，在任何给定准确性水平下，使用仅仅一个44核CPU，SLIDE的训练速度比TF快3.5倍（1小时与3.5小时相比）。在相同的CPU硬件上，SLIDE比TF快10倍以上。

Mar, 2019

本文提出了一种算法-软件共同设计的剪枝方法，采用“分块友好”的稀疏模式来实现现有的密集结构上的延迟加速，旨在解决原先稀疏模型上由于随机分布权重导致计算不规则的问题，在GPU笔记本上成功地实现了1.95倍速度提升的优化效果。

Aug, 2020

以多层复杂结构表示不同稀疏度，提出 DNN 加速器 HighLight，能有效地将 DNN 稀疏化转换为降低能耗和延迟的技术，并达到高灵活性和性能，改善 DNN 应用的精度和能效。

May, 2023

本研究提出了一种新的框架NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与CPU和GPU等通用处理器相比具有优势。

May, 2023

逐渐成功和扩大规模的深度学习模型对计算效率和功耗提出了更高的要求。稀疏化能够导致模型更小、计算效率更高，并且加速硬件已经得到应用。本文提出了一种新的格式V:N:M，用于在NVIDIA的Sparse Tensor Cores上执行任意N:M比例的稀疏化计算，并通过高性能稀疏库Spatha实现了高达37倍的加速，在现代transformers中实现高稀疏度而几乎不降低准确性的二阶裁剪技术。

Oct, 2023

本文系统分析了多个稀疏深度神经网络的使用情况并研究了优化的机会，基于这些研究结果，我们提出了Dysta，这是一种利用静态和动态稀疏信息进行稀疏多深度神经网络调度的新型双层动态和静态调度器。我们构建了一个公共基准，其中包含了跨移动电话、AR/VR可穿戴设备和数据中心的不同部署情景的稀疏多深度神经网络工作负载。对稀疏多深度神经网络基准的全面评估表明我们提出的方法在满足延迟限制方面的违规率减少了10%左右，并且平均归一化周转时间减少了近4倍。我们的工件和代码可公开获取。

Oct, 2023

深度神经网络的加速和优化在资源有限的设备上是具有挑战性的，这篇论文结合了机器学习和系统技术，在Deep Learning Acceleration Stack (DLAS)中演示了如何通过整合不同层面的改进技术来提高加速效果，并强调了由于参数调整引起的DLAS各层之间的相互影响。研究发现，模型大小、准确性和推理时间之间并没有必然的关联，压缩技术的加速效果也受具体硬件平台的影响，而编译器自动调优可能会改变最佳算法的选择，因此需要进行协同设计来进一步优化加速深度学习的解决方案。

Nov, 2023

利用软硬件协同优化的方法，我们提出了一种针对数据流加速器的利用非结构化稀疏性的新方法，通过一系列模型，在现有的疏松设计中实现了从1.3倍到4.2倍的效率提升，特别是MobileNetV3的吞吐量可以优化到4895张图像每秒。HASS是开源的：https://github.com/Yu-Zhewen/HASS

Jun, 2024

通过在预训练的深度神经网络模型的卷积和全连接层参数中将特定区域置零，实现权重块稀疏性，提高了神经网络的推理速度，减小了内存占用和计算负载。在使用Resnet50模型中，权重减少一半的同时保持准确性损失最小，推理速度提高两倍。

Jul, 2024

本研究针对视觉变换器中的层级 N:M 稀疏性配置的不足，提出了 ELSA 方法，旨在实现各层自定义的稀疏配置。这种方法通过平衡少量的精度损失，实现了在加速器上显著的内存与推理时间减少，Swim-B 和 DeiT-B 模型的 FLOPs 降低了 2.9 倍。

Sep, 2024