本文介绍了动态稀疏神经网络 (DSNN) 技术，该技术能够在训练后根据需要在运行时即时切换到任何预定义的稀疏度配置，有效地解决了自动语音识别 (ASR) 等场景中硬件资源限制和延迟要求不同的问题，实验结果表明，DSNN 模型的表现与单一稀疏度网络的表现相当。

May, 2020

该研究论文提出了一种名为动态神经图网络（Dynamic Spiking Graph Neural Networks）的框架，用于解决动态图表示学习中的信息丢失和内存要求问题，通过将早期信息直接传递到最后一层以进行信息补偿，并在动态图环境中扩展了隐式微分以适应内存要求，并通过在三个大规模实际动态图数据集上的大量实验证明了其在动态节点分类任务上的有效性与较低的计算成本。

Dec, 2023

本文提出了一种名为 DS-Net 的动态可整合网络概念，它通过在测试时动态调整网络的卷积滤波器数量，从而实现好的硬件效率。同时，DS-Net 通过一种双头动态门的机制，具有动态推理的能力，并使用一种两阶段训练方案进行训练。实验结果表明，DS-Net 在 ImageNet 数据集上与 ResNet-50 和 MobileNet 模型相比，具有更高的计算性能和实际加速性能。

Mar, 2021

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小 GPU 内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023

通过在计算通用矩阵乘法（GEMM）时考虑激活的最终位置，我们设计了一种稀疏训练过程，以诱导可利用的半结构化激活稀疏性，并在图像分类和目标检测任务中对其进行了广泛评估，结果显示在 ImageNet 数据集上，我们的方法在 ResNet18 模型上实现了 1.25 倍的加速，并仅有 1.1% 的最小精度降低；另外，与先进的结构化剪枝方法相结合，得到的模型在延迟和准确性之间取得了很好的平衡，优于仅采用结构化剪枝技术的模型。

Sep, 2023

本研究通过优化稀疏矩阵算法，使用面向固定大小数据的平台扩展了稀疏图神经网络模型，使用 512 核 TPUv2 Pod 仅用 13 分钟训练，而原始训练需要近一天。

Jun, 2019

本文提出了一种新的动态稀疏训练方法用于加速深度强化学习的过程，通过在持续控制任务上实验证明，该方法可以显著提高深度强化学习的性能，降低参数数量和浮点运算数，并使训练步骤减少 40-50%。

Jun, 2021

通过提出 DSD 训练流程，即 Dense-Sparse-Dense（DSD）的训练方法，对深度神经网络进行正则化，以实现更好的优化性能；实验证明，DSD 训练可以提高各种神经网络模型（如 CNN、RNN 和 LSTM）在图像分类、标题生成和语音识别等任务中的性能，并且可以在不改变网络架构或引入任何推理开销的情况下使用。

Jul, 2016

本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

Nov, 2022

本文提出了一种有效构建深度图神经网络的方法。该方法利用动力系统中固定点的思想，通过递归神经网络实现，并采用深度架构组织递归单元。我们证明了即使在没有训练递归连接的情况下，小型的深度图神经网络的性能也能达到或超过当前最先进的图分类任务水平。

Nov, 2019