Dec, 2023

面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

PDF
TL;DR深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。
deep learningdnn modelsoptimization algorithmsprediction frameworkmedn
发现论文，激发创造
  • 延迟感知的可微神经架构搜索

    通过在优化中添加可微延迟损失项，使搜索过程能够在准确性和延迟之间进行权衡，并通过延迟预测的核心来实现，该核心将每个网络架构编码并馈送到多层回归器中。我们的方法能够降低 20％的延迟同时保持准确性，且易于转移到其他硬件平台或其他不能微分的因素上进行优化。

    Jan, 2020

  • 工业物联网中基于深度强化学习的协作 DNN 推断保证准确性

    本文研究了工业物联网网络中协作深度神经网络推理问题，提出了一种基于深度强化学习的算法，将动态配置物联网设备的采样率、推理任务卸载和边缘计算资源分配共同考虑，通过转化为马尔可夫决策过程来最小化服务延迟并保证准确性。

    Dec, 2022

  • 关于神经架构搜索的延迟预测器

    通过硬件感知的神经架构搜索，预训练和迁移学习方法来改进神经网络的部署效率，并提出了综合性的延迟预测模型，能够有效地提高硬件延迟预测的准确性。

    Mar, 2024

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 用于视频快速推理的循环残留模块

    本文提出了一种名为 Recurrent Residual Module （RRM）的框架，可以使用两个连续帧的中间特征图的相似度来大大减少冗余计算，精确计算每个帧的特征图，从而加速 CNN 推断以进行视频识别，实验结果显示，与维持相似识别性能的前一方法相比，RRM 平均加速率达到 2 倍，可在许多常用 CNN 上加速达到 8-12 倍，而在某些二进制网络上加速率可以高达 500 倍

    Feb, 2018

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • 通过模型冻结加速深度学习推理

    通过缓存中间层输出，可以避免运行所有 DNN 层，从而减少预测延迟，本文介绍了 Freeze Inference 系统，它通过在每个中间层引入逼近缓存，并讨论如何减小缓存大小和提高缓存命中率，未来的挑战也被提出。

    Feb, 2020

  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020

  • 使用图神经网络的深度学习推断性能预测模型 DIPPM

    本文介绍了一种基于深度学习推理性能预测模型的方法，该模型可以预测在 NVIDIA A100 GPU 上给定输入的深度学习模型的推理延迟、能量和内存使用情况，并建议适当的 GPU 配置方案，同时帮助进行模型推理性能的快速设计空间探索。

    Mar, 2023

  • 面向高效图像识别的低延迟统一动态网络

    动态计算已成为提高深度网络推理效率的一种有前途的方法，我们提出了一个名为 “LAUDNet” 的框架，它集成了三个主要的动态范例，以缩短模型的延迟，通过算法设计与调度优化相结合，准确衡量动态操作延迟的潜在预测器指导。我们在多个视觉任务上测试了 LAUDNet，其在 V100、RTX3090 和 TX2 GPU 上能够显著降低 ResNet-101 等模型的延迟超过 50％，而且在准确性和效率之间取得良好的平衡。

    Aug, 2023