本文提出了一种名为 HAPI 的新方法，通过在推理阶段与早期退出策略一起优化中间退出的放置位置，实现了高性能的早期退出网络生成。通过设计空间探索算法，我们提出了一种在各种延迟预算下始终优于其他搜索机制和最先进的早期退出方案的系统，它在强制嵌入式设备的延迟驱动 SLAs 的速度上提供了高效的方案。

Aug, 2020

本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

Jun, 2021

通过设计神经网络拓扑结构来直接映射高效 FPGA 实现的一种新方法。其中，硬件成本与神经元扇入呈指数级增长，通过使用稀疏和低比特激励量化来限制神经元扇入及减小逻辑深度和低 LUT 成本，可以实现具有高速低延时和高吞吐量的电路。应用于高能物理和网络入侵检测等任务，具有竞争性的准确性，每秒推断量可达数亿。

Apr, 2020

本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

Jun, 2022

通过神经架构搜索，设计硬件受限的早退出神经网络（NACHOS），在考虑准确度和乘加操作数量的约束下，实现了主干和辅助分类器的联合设计，以在准确度和乘加操作数量之间取得最佳权衡。NACHOS 设计的模型具有与最先进的早退神经网络竞争力的结果。

Jan, 2024

本文提出了一个算法和硬件协同设计框架，该框架可以为高效的基于 FPGA 的 Bayesian 神经网络生成加速器，以减少计算和内存负载，并实现更高的能源效率。

Jun, 2024

本文介绍了一种新的训练技术 Anticipate, Ensemble and Prune (AEP)，它基于权重集成的早期退出，旨在利用网络结构中的信息来最大化其性能。通过一系列全面的实验，我们展示了使用这种方法可以使平均准确性提高高达 15％，并且该方法在混合权重配置下，还可以通过内部修剪操作减少参数数量高达 41％，减少乘法和加法的数量 18％，并缩短推理所需的延迟时间 16％。

Jan, 2023

我们提出了一种自动增强流程，将现有模型转换为 EENN，并为异构或分布式硬件目标执行所有必需的设计决策。我们的方法在物联网和标准图像分类用例中都能有效降低推理成本，并大大减少 EENNs 的搜索成本，提高了神经网络在各种实际应用中的效率。

Mar, 2024

本文提出了一个使用 Synchronous Dataflow（SDF）模型的端到端框架 fpgaConvNet，该框架可用于将卷积神经网络 (ConvNets) 映射到 FPGAs 上，实现了对性能度量的有效优化，并在嵌入式环境中将性能提高了最高 6.65x。

Nov, 2017