Jun, 2024

基于错误概率预测的量化与早期退出结合策略

PDF
TL;DR提出了一种结合量化和早期退出动态网络的更一般的动态网络方法 QuEE，通过准确预测进一步计算可能获得的潜在准确性改进，解决了传统的早期退出问题。
machine learning modelspost-training computation reduction methodsquantizationdynamic networksearly exit dynamic network
发现论文，激发创造
  • QUTE：通过早退出辅助集成量化 TinyML 模型的不确定性

    减少资源开销，在 TinyML 模型中优化 QUTE，一个用于量化不确定性和检测偏移输入的轻量级集成架构。

    Apr, 2024

  • 神经网络模型压缩的保证量化误差计算

    本文介绍了一种神经网络压缩技术方法，建立了一个混合神经网络，由一个前馈神经网络和其量化版本组成，通过优化和可达性分析方法计算了保证的量化误差。 数值例子验证了该方法的适用性和有效性。

    Apr, 2023

  • 通过不确定性量化从量化网络中提取可用的预测结果进行 OOD 检测

    使用不确定性量化技术对预训练视觉模型进行预测不确定性估计，以提取有价值的预测并忽略不自信的预测，从而避免最多 80% 的被错误分类的样本。

    Mar, 2024

  • EQ-Net：弹性量化神经网络

    本文提出一种名为 Elastic Quantization Neural Networks（EQ-Net）的一次性网络量化方案，旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间，并提出了权重分布正则化损失（WDR-Loss）和群体渐进引导损失（GPG-Loss）以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后，我们结合了遗传算法和条件量化感知准确性预测器（CQAP），快速搜索超网络中混合精度量化的神经网络。大量实验证明，我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。

    Aug, 2023

  • 早期退出预测的资源受限边缘人工智能

    本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

    Jun, 2022

  • 训练三值量化

    本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

    Dec, 2016

  • 学习为动态早退出网络加权样本

    本文提出了一种基于样本加权的训练策略，用于桥接训练与测试时 Early exiting 行为的差距，通过联合优化权重预测网络和网络主干模型，在训练期间模拟其在推理期间的自适应行为，从而提高分类准确度和推理效率的权衡。

    Sep, 2022

  • SplitEE：深度神经网络中的分割计算早期退出

    将早期退出和拆分计算相结合，开发了一种在线无监督学习算法 SplitEE，通过在资源受限设备中选择性计算和外部计算，实现了大幅降低成本（>50%）并略微降低准确性（<2%）的效果。

    Sep, 2023

  • 对复杂动态系统中认识不确定性和随机不确定性量化的机器学习架构评估

    本研究比较了多种机器学习技术的 UQ 准确性，并对两个模型（船只在波浪中的运动和 Majda-McLaughlin-Tabak 模型）进行了应用。

    Jun, 2023

  • 加速推理与减少遗忘：早退出网络在持续学习中的双重好处

    通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

    Mar, 2024