动态时间预算的深度神经网络

Oct, 2016

Impatient DNNs - Deep Neural Networks with Dynamic Time Budgets

Manuel Amthor, Erik Rodner, Joachim Denzler

TL;DR本文提出了一种新的深度神经网络模型 ——Impatient Deep Neural Networks，因应动态时间预算且同时支持随时停顿多阶段推断，此方法可实现自适应计算及能源需求，提高实时应用性能，其重要特征为联合学习动态预算预测器。实验结果表明，与常见基线相比，我们的方法在预测精度等方面有较大提升。

Abstract

We propose impatient deep neural networks (DNNs) which deal with dynamic time budgets during application. They allow for individual budgets given a priori for each test example and for anytime prediction, i.e., a

impatient deep neural networks dynamic time budget anytime prediction computational costs risk minimization

发现论文，激发创造

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

动态深度神经网络：通过选择性执行优化精度 - 效率平衡

介绍一种名为 D2NN 的动态深度神经网络，其允许对输入进行选择性执行以优化计算效率，同时借助控制器模块和整合强化学习的反向传播算法进行端到端训练以优化精度和效率。

Jan, 2017

基于深度神经网络的预算受限模型构建方法在大数据分析中的应用

本文提出了利用深度神经网络的方法来删除数据分析中的不太重要的特征，以在给定预算内开发适合的受预算限制的模型。

Feb, 2023

预算训练：重新思考资源约束下的深度神经网络训练

本文引入了一个形式化的训练模式：在有限资源（预算）约束下的训练，分析了在此模式下的学习率调整方法，通过在多个任务数据集上的实验验证了线性衰减方法的优秀表现，并强调了在该模式下的预算收敛现象的重要性。

May, 2019

EENet: 适应推理的学习早期退出

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

BNN-DP: 通过动态规划对贝叶斯神经网络进行鲁棒性认证

本文介绍了 BNN-DP，它是一种用于分析贝叶斯神经网络的对抗鲁棒性的高效算法框架。该算法使用动态规划算法来限定网络的预测范围，同时具备一般性和高效性。

Jun, 2023

具有预算的超级网络的时间 / 内存高效深度架构学习

本文提出了一种名为 BSN 的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于 ResNet 和 Convolutional Neural Fabrics 的结构发现与学习能力。

May, 2017

在线深度学习：即时深度神经网络学习

论文提出了一种在线深度学习框架，使用新提出的 Hedge Backpropagation 方法，实现了对来自稳态和概念漂移情况下的大规模数据集进行自适应深度的 DNN 模型学习。

Nov, 2017

边缘设备上可靠和自适应分布式推理的流体动力学 DNNs

分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

Jan, 2024

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017