CVPRMay, 2021

Dynamic-OFA: 面向异构嵌入式平台的运行时 DNN 架构切换以实现性能扩展

PDF
TL;DR本研究论文探讨了动态深度神经网络在不同运行环境下实现快速性能的问题，并提出了一种新的动态 DNN 方法 Dynamic-OFA，该方法通过预先采样 OFA 模型中的子网，配合运行时管理器在不同的运行环境中选择不同的子网来实现。在实验中，使用 ImageNet 数据集验证了该方法的性能表现，相比已有方法，Dynamic-OFA 在 Jetson Xavier NX 上可以实现最高 3.5x 的 CPU 速度和 2.4x 的 GPU 速度提升，并相应地实现 3.8％的 CPU 精度和 5.1％的 GPU 精度提升。
dynamic dnnsembedded platformsnas modelsreal-time performanceimagenet
发现论文，激发创造
  • Once-for-All: 训练一个网络并为其专门优化以实现高效部署

    我们提出了一种基于一次训练（OFA）网络的方法，通过将训练和搜索分离，支持多种网络结构并可以快速选择以减少计算成本。使用渐进式缩减算法进行高效训练，在各种边缘设备上具有优异的表现和更少的能源成本，赢得了 Low Power Computer Vision Challenge 的胜利。

    Aug, 2019

  • 移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

    深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

    Jan, 2024

  • CompOFA: 多用一网络复合架构加速跨平台部署

    该研究提出了一个名为 CompOFA 的设计空间，基于复合关系的模型维度来约束最优的模型配置，实现了在保证 Pareto 优化的情况下，相较于现有技术，减少了 2 倍的训练时间和 216 倍的模型搜索 / 提取时间。

    Apr, 2021

  • OFA$^2$: 一种多目标视角下的通用神经结构搜索方法

    该研究介绍了 Once-for-All（OFA）神经架构搜索（NAS）框架，利用多目标优化算法在 OFA 神经网络的基础上搜索高效的神经架构，并生成一个 Pareto 前沿，以指导 NAS 决策。

    Mar, 2023

  • 增强 Once-For-All：关于并行块、跳跃连接和早期退出的研究

    本文提出 OFAv2，它是 Once-For-All 算法的改进版，它通过包括早期退出、并行块和密集跳连接来改进体系结构，并扩展了训练过程，引入了 Elastic Level 和 Elastic Height 两个新阶段。此外，本文提出适用于多输出网络的新型知识蒸馏技术，并提出了动态教师网络选择的新策略。这些修改使得 OFAv2 在 Tiny ImageNet 数据集上的准确性能比 OFA 原始版本提高了高达 12.07％，同时仍然保持算法的灵活性和优势。

    Feb, 2023

  • DynO: 从云端到设备的深度神经网络动态加载

    本文介绍了一个名为 DynO 的分布式推理框架，它结合了云端卸载计算和设备端计算的最佳优势，采用新颖的 CNN 数据打包方法和调度器，在运行时联合调整分区点和传输数据精度来适应执行环境，并且评估结果表明，DynO 优于当前最先进的系统，在设备端执行时提高吞吐量超过一个数量级，在竞争的 CNN 卸载系统中提高了 7.9 倍，并且传输的数据量减少了高达 60 倍。

    Apr, 2021

  • 神经结构迁移 2：提高多目标神经结构搜索效率的范式

    本文提出了 NATv2，它是一种改进的神经结构搜索算法，能够改善超网络结构的生成和抽取子网络的性能，并引入精调的后处理流水线，成功地提高了 NAT 的质量，因此在使用最少的参数研究高性能结构时是高度推荐的。

    Jul, 2023

  • OFA: 通过一个简单的序列到序列学习框架统一架构、任务和模态

    本文提出一种支持任务综合性的任务不可知和模态不可知框架 OFA，用于统一多模态预训练。OFA 在仅使用 2000 万个公开可用的图像 - 文本对进行预训练情况下，在一系列交叉模态任务上实现了新的 SOTAs，并在单模态任务上取得了高竞争性能。同时，OFA 还可以有效地转移到看不见的任务和领域中。

    Feb, 2022

  • 边缘设备上可靠和自适应分布式推理的流体动力学 DNNs

    分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

    Jan, 2024

  • 实现边缘智能动态卷积神经网络推理的探索

    本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

    Feb, 2022