Aug, 2023

面向高效图像识别的低延迟统一动态网络

PDF
TL;DR动态计算已成为提高深度网络推理效率的一种有前途的方法，我们提出了一个名为 “LAUDNet” 的框架，它集成了三个主要的动态范例，以缩短模型的延迟，通过算法设计与调度优化相结合，准确衡量动态操作延迟的潜在预测器指导。我们在多个视觉任务上测试了 LAUDNet，其在 V100、RTX3090 和 TX2 GPU 上能够显著降低 ResNet-101 等模型的延迟超过 50％，而且在准确性和效率之间取得良好的平衡。
dynamic computationdeep networksinference efficiencylatency-aware unified dynamic networksalgorithm design
发现论文，激发创造
  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020

  • L^3U-net: 基于低延迟轻量级 U-net 的图像分割模型，适用于并行 CNN 处理器

    本研究提出了一种用于低资源边缘设备的小型图像分割模型 L^3U-net，引入了一种数据折叠技术，利用 CNN 加速器的并行卷积层处理能力，降低推理延迟，并将该模型部署到 MAX78000 设备，结果表明 L^3U-net 在两个不同的分割数据集上实现了 90% 以上的准确率，每秒处理 10 帧。

    Mar, 2022

  • 隐空间动态网络 (LDNets): 学习时空过程内在的动力学

    对于展现时空动态响应的系统的演化进行预测是促进科学创新的关键技术，传统基于方程的方法需要大规模并行计算平台和大量的计算成本。相比之下，我们提出了一种名为 Latent Dynamics Network 的新型架构，该架构使用降维和深度学习算法来描述系统演化的低维潜在空间，从而预测空间依赖场对外部输入的时间演化，并在几个测试案例上验证了该方法的高效性和精确性。

    Apr, 2023

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024

  • 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

    深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

    Dec, 2023

  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • 用于实时神经科学实验的 LFADS 的 FPGA 部署

    使用 LFADS 模型和 FPGA 实现的高效实时数据处理方法，能够从高维度的神经尖峰数据中推断出潜在的动态，为研究神经人群动力学和提高计算算法的实时处理能力提供了新的机会。

    Feb, 2024

  • 双动态推断：实现更高效、自适应和可控的深度推断

    提出一种双重动态推理框架，采用多粒度学习以及资源依赖的动态推理机制，优化计算资源和预测精度之间的权衡，有效降低计算资源消耗，通过实验验证其优越性。

    Jul, 2019

  • 动态推理：一种新的高效视频动作识别方法

    本文提出了一种动态推断方法，从网络深度和输入视频帧数的角度来提高推断效率，通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上，并按照预定义的路径逐步在网格上进行推断，可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络，证明了新方法的优越性。

    Feb, 2020

  • JALAD: 边缘 - 云执行的联合精度和延迟感知深层结构解耦

    本文提出了一种名为 JALAD 的深度神经网络的执行框架，可以将其分离为云端和边缘设备各自运行，以最小限度地跨越它们之间的数据传输，包括基于标准化的内层数据压缩策略，基于延迟的深度分离策略和动态改变耦合的边缘 - 云结构适应策略。实验证明，我们的解决方案可以显着减少执行延迟并保证模型精度损失最小化。

    Dec, 2018