本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

Jan, 2023

通过应用风险控制机制，我们实现了针对早期停止神经网络（EENNs）的退出机制，在保持用户指定的性能目标的同时，大幅减少计算资源的使用。

May, 2024

本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

Jun, 2023

本文介绍了一种称为 EENA 的有效神经体系结构搜索方法，该方法通过精心设计的变异和交叉操作进行演化，可以在较少的计算资源下，显著降低搜索和训练时间，并设计出在 CIFAR-10 数据集上效果显著的神经体系结构。

May, 2019

通过神经架构搜索，设计硬件受限的早退出神经网络（NACHOS），在考虑准确度和乘加操作数量的约束下，实现了主干和辅助分类器的联合设计，以在准确度和乘加操作数量之间取得最佳权衡。NACHOS 设计的模型具有与最先进的早退神经网络竞争力的结果。

Jan, 2024

本篇论文提出一种名为 ENet 的新型深度神经网络架构，其最大特点是快速、参数少，适用于对实时性要求较高的像素级语义分割任务，且在 CamVid、Cityscapes 和 SUN 等数据集上测试表明效果相对优于同类型已有网络。

Jun, 2016

使用强化学习训练的评估神经网络（ENN）作为反向传播中的附加评估函数，提高深度神经网络训练的方法，通过对 0.15^2 倍分辨率的输入数据进行处理，ENN 实现有效的推理，结果表明，使用该方法训练的 MLPs 的平均测试准确率达到了 93.02%，比仅使用传统反向传播或 L1 正则化训练的模型高出 2.8%，而且测试准确率与 He 初始化网络相当，缩小了测试误差和训练误差之间的差距，并且无需增加训练轮数，避免过拟合风险，还能根据训练阶段动态调整梯度大小，降低了寻找最佳训练方法所需的时间，论文还使用 Grad-CAM 对 ENN 的可解释性进行了分析，展示了它们可视化评估基数的能力，并支持了强大的抽奖票假设。

Jun, 2024

大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

Oct, 2023

将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

Sep, 2023

本文介绍了一种能够辅助任何传统神经网络，包括大型预训练模型，能够用较少的计算量来预测不确定性的架构 ——epinet。使用 epinet，传统神经网络在预测标签上的表现优于包含数百个或更多粒子的非常大的许多集合，而且使用的计算资源和数据也大大降低了。

Jul, 2021