BranchyNet: 通过从深度神经网络中早期退出实现快速推理

Sep, 2017

BranchyNet: 通过从深度神经网络中早期退出实现快速推理

BranchyNet: Fast Inference via Early Exiting from Deep Neural Networks

Surat Teerapittayanon, Bradley McDanel, H.T. Kung

TL;DR本文介绍一种新颖的深度网络架构 ——BranchyNet，该架构通过引入额外的支路分类器，允许预测结果提前退出网络，实现较高置信度下的快速推理，以此同时提高网络的分类准确度，并有效地降低网络的推理时间。

Abstract

deep neural networks are state of the art methods for many learning tasks due to their ability to extract increasingly better features at each network layer. However, the improved performance of additional layers in a deep network comes at the cost of added latency and energy usage in

deep neural networks branchynet side branch classifiers inference time reduction accuracy improvement

发现论文，激发创造

神经网络动态推理的早期分类

该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

Sep, 2023

神经网络为什么需要增加早期退出机制？

本研究介绍了一种多输出深度神经网络，它具有提高推理速度、减少过拟合以及利用多层次计算平台的优势，并描述了在 5G 和雾计算环境中的应用场景以及相关的开放式研究问题。

Apr, 2020

失真图像的早期退出深度神经网络：提供高效的边缘卸载

通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

Aug, 2021

EENet: 适应推理的学习早期退出

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

早期退出网络的自适应推断：设计、挑战与方向

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

多任务学习的分支学习

本论文提出了一种自动的多任务学习算法，通过提出一种树形结构设计空间和将树形分支操作作为 Gumbel-Softmax 采样过程，实现了可微网络分裂与优化，实现了多任务网络的有效设计。

Jun, 2020

适应性神经网络的高效推理

通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

Feb, 2017

多分支网络中的连接学习

该研究提出了一种基于学习算法的多分支卷积神经网络模型，通过优化单一损失函数同时学习多个分支之间的连接关系，应用于多类别图像分类任务，取得优于同等学习能力的 ResNeXt 多分支网络的准确率。

Sep, 2017

深度神经网络的完全动态推断

提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

Jul, 2020

早期退出预测的资源受限边缘人工智能

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022