QUTE:通过早退出辅助集成量化 TinyML 模型的不确定性
提出了一种结合量化和早期退出动态网络的更一般的动态网络方法 QuEE,通过准确预测进一步计算可能获得的潜在准确性改进,解决了传统的早期退出问题。
Jun, 2024
本文研究了将 Deep Ensembles 方法扩展到与不确定性评估相关的任务,提出了一种在接近二元决策边界的窗口内传递样本以实现早期退出的新方法,并发现级联 / 集成模型在 OOD 数据上比模型扩展更可靠。
Mar, 2023
本文提出了一种适用于边缘设备的低成本方法 ——Tiny-Deep Ensemble 方法,用于不确定性估计。该方法通过进行多次归一化层集成而不需要额外的存储空间和延迟,从而显著降低了存储需求和延迟,同时保持了与单模型相近的内存开销,并在各种基准数据集、任务和最先进的架构中提高了推理准确性。
May, 2024
本研究比较了多种机器学习技术的 UQ 准确性,并对两个模型(船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型)进行了应用。
Jun, 2023
AutoDEUQ 使用深度神经网络和超参数搜索自动生成神经网络集合,并使用方差法将预测方差分解为数据方差和模型方差,这种方法在许多回归基准测试中优于几种现有的不确定性量化方法。
Oct, 2021
使用不确定性量化技术对预训练视觉模型进行预测不确定性估计,以提取有价值的预测并忽略不自信的预测,从而避免最多 80% 的被错误分类的样本。
Mar, 2024
本研究考察了用于提高神经网络相互作用势模型的稳健性的多个不确定性量化方案,包括平均 - 方差估计,深度证据回归和高斯混合模型,并与现有基于集成的方法进行比较。研究表明,对于不确定性量化,成本有效的单一确定性模型尚不能始终匹配或胜过集成方法。
May, 2023
本文比较了 4 种常见的表观 UQ 方法,即 BNN、SWAG、MC dropout 和集成方法,在 ARMED MEDL 模型的统计指标、协变系数和预测置信度方面的能力,实验结果表明,90%子采样的集成方法提供了最佳的全面性能,同时保持 MEDL 使用 ARMED 的基线性能,并为模型拟合,协变系数和预测提供了统计显着性。
Nov, 2022
使用一种名为 PNC 预测器的方法,仅使用一个辅助神经网络,并结合适当的低计算重采样方法,以最低限度的开销建立了几种方法,利用仅四个训练网络就能构建渐近精确覆盖置信区间。
Jun, 2023
本文提出了一种早期预测机制 'Exit Predictor',通过引导某些明显 “困难” 的数据样本绕过早期出口的计算,从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时,还考虑了通信带宽的变化,在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值,以适应不同带宽条件下推理的需求。实验结果表明,Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比,在不同带宽条件下,提出的延迟感知的边缘推理方法具有更高的推理准确性。
Jun, 2022