深度神经网络的完全动态推断
本论文致力于提高神经网络的效率,提出了连续推理网络(CIN),它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率,并采用 CIN 重构了几种广泛使用的网络架构,包括 3D CNN,ST-GCN 和 Transformer Encoders。另外,通过使用熔接适配器网络和结构修剪,本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。
Jun, 2023
本文研究了如何提高卷积神经网络的效率,提出了一种基于动态卷积方法的新型卷积操作,在多种 CNN 结构上进行了测试,并表明该方法可以在减少计算开销的同时保持性能,从而达到了更高的效率。
Apr, 2020
介绍一种新的动态滤波网络架构,使得学习的滤波器可以根据输入动态生成,具有高度适应性,且不会过多增加模型参数。通过可视化学习到的滤波器,证明该网络可以在无标签数据上学习信息,从而可以用于各种无监督预训练任务,例如光流和深度估计。
May, 2016
提出一种双重动态推理框架,采用多粒度学习以及资源依赖的动态推理机制,优化计算资源和预测精度之间的权衡,有效降低计算资源消耗,通过实验验证其优越性。
Jul, 2019
本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断,利用部分重构技术提高了资源受限的边缘设备的性能,并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型,具有 92%,86%和 94%的分类准确率。
Feb, 2022
提出一种名为 Dynamic Convolution 的新设计,基于卷积核的注意力动态地聚合多个并行卷积核,从而增加模型复杂度,提高卷积神经网络的表示能力,有效提高 MobileNetV3-Small 模型在 ImageNet 分类任务上的精度。
Dec, 2019
本文提出了一种动态推断方法,从网络深度和输入视频帧数的角度来提高推断效率,通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上,并按照预定义的路径逐步在网格上进行推断,可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络,证明了新方法的优越性。
Feb, 2020
基于数据输入,本研究提出了一种新算法,允许卷积神经网络的卷积层在动态环境下进行演化,并无缝地整合到现有的 DNNs 中。通过引入核函数,迭代性地评估图像特征的识别能力,本方法在多个数据集上展示了优于监督方法的表现,并在迁移学习场景中展示了增强的适应性,填补了深度学习中对于动态环境更灵活高效的 DNNs 的空白。
Sep, 2023
深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而,由于计算资源有限,有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法,通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中,我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法,在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍,或在相似的延迟下准确率提高了 5.1%。同时,我们设计了一个分级运行时资源管理器,在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低,在两个并发模型部署场景中能量降低了 89%,延迟降低了 23%。
Jan, 2024
动态计算已成为提高深度网络推理效率的一种有前途的方法,我们提出了一个名为 “LAUDNet” 的框架,它集成了三个主要的动态范例,以缩短模型的延迟,通过算法设计与调度优化相结合,准确衡量动态操作延迟的潜在预测器指导。我们在多个视觉任务上测试了 LAUDNet,其在 V100、RTX3090 和 TX2 GPU 上能够显著降低 ResNet-101 等模型的延迟超过 50%,而且在准确性和效率之间取得良好的平衡。
Aug, 2023