early-exit networks | BriefGPT

关键词early-exit networks

搜索结果 - 5

QUTE：通过早退出辅助集成量化 TinyML 模型的不确定性
减少资源开销，在 TinyML 模型中优化 QUTE，一个用于量化不确定性和检测偏移输入的轻量级集成架构。
PDF2 months ago
加速推理与减少遗忘：早退出网络在持续学习中的双重好处
通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。
PDF4 months ago
MM早期退出预测的资源受限边缘人工智能
本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简
PDF2 years ago
早期退出网络的自适应推断：设计、挑战与方向
该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。
PDF3 years ago
HAPI: 硬件感知渐进推理
本文提出了一种名为 HAPI 的新方法，通过在推理阶段与早期退出策略一起优化中间退出的放置位置，实现了高性能的早期退出网络生成。通过设计空间探索算法，我们提出了一种在各种延迟预算下始终优于其他搜索机制和最先进的早期退出方案的系统，它在强制嵌
PDF4 years ago