NACHOS: 硬件受限早期中止神经网络的神经架构搜索

Jan, 2024

NACHOS: 硬件受限早期中止神经网络的神经架构搜索

NACHOS: Neural Architecture Search for Hardware Constrained Early Exit Neural Networks

Matteo Gambella, Jary Pomponi, Simone Scardapane, Manuel Roveri

TL;DR通过神经架构搜索，设计硬件受限的早退出神经网络（NACHOS），在考虑准确度和乘加操作数量的约束下，实现了主干和辅助分类器的联合设计，以在准确度和乘加操作数量之间取得最佳权衡。NACHOS 设计的模型具有与最先进的早退神经网络竞争力的结果。

Abstract

early exit neural networks (eenns) endow astandard Deep Neural Network (DNN) with Early Exit Classifiers (EECs), to provide predictions at intermediate points of the processing when enough confidence in classific

early exit neural networks neural architecture search eenns nachos mac operations

发现论文，激发创造

演化神经架构搜索综述

本文系统地综述了 200 多篇最新基于进化计算的 NAS 算法，分析了其设计原理和未来研究方向。

Aug, 2020

EENet: 适应推理的学习早期退出

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

高效的神经结构进化算法（EENA）

本文介绍了一种称为 EENA 的有效神经体系结构搜索方法，该方法通过精心设计的变异和交叉操作进行演化，可以在较少的计算资源下，显著降低搜索和训练时间，并设计出在 CIFAR-10 数据集上效果显著的神经体系结构。

May, 2019

NPENAS: 神经预测引导的神经结构搜索

本文介绍一种基于神经预测器的进化算法（NPENAS）用于增强 NAS 的探索能力，设计了两种神经预测器，其中一种是基于贝叶斯优化的不确定性估计网络，另一种是直接输出输入神经结构性能预测的基于图的神经网络。大量实验表明，使用这种方法的 NPENAS 优于大多数现有的 NAS 算法.

Mar, 2020

异构分布式物联网环境下适应性推理的高效后训练增强

我们提出了一种自动增强流程，将现有模型转换为 EENN，并为异构或分布式硬件目标执行所有必需的设计决策。我们的方法在物联网和标准图像分类用例中都能有效降低推理成本，并大大减少 EENNs 的搜索成本，提高了神经网络在各种实际应用中的效率。

Mar, 2024

理解神经结构搜索技术

研究自动化方法来生成最新的神经网络架构而无需人类专家，并探究解释可解性和记忆缓冲作为有效方法的影响。

Mar, 2019

快速而安全：带有风险控制的提前退出

通过应用风险控制机制，我们实现了针对早期停止神经网络（EENNs）的退出机制，在保持用户指定的性能目标的同时，大幅减少计算资源的使用。

May, 2024

通过参数共享实现高效神经架构搜索

ENAS 提出了高效神经架构搜索方法，使用控制器在大型计算图中发现神经网络架构，以优化子图为目标进行训练，利用共享子模型参数，使用的 GPU-hours 要比所有现有的自动模型设计方法少 1000 倍，设计出实现最新技术水平的新型结构。

Feb, 2018

硬件感知神经架构搜索的综合调查

该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

Jan, 2021

早期退出网络的自适应推断：设计、挑战与方向

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021