Oct, 2023

动态神经网络的联合推理和推断：JEI-DNN

PDF
TL;DR大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。
pretrained modelsfine-tuningearly-exiting dynamic neural networksgating mechanisminference modules
发现论文，激发创造
  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 早期退出网络的自适应推断：设计、挑战与方向

    该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

    Jun, 2021

  • 神经网络动态推理的早期分类

    该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

    Sep, 2023

  • 具有多个退出的 DNN 的无监督式早期退出

    "UEE-UCB" 是一种基于 Upper Confidence Bound (UCB) 算法的多出口深度神经网络 (DNNs) 优化方法，利用 bandit 理论来识别多出口 DNNs 中的最优退出点，并能够适应性地学习特定领域的最优退出点。

    Sep, 2022

  • 噪声无线信道上的自适应提前退出协同推理

    协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

    Nov, 2023

  • 早期退出预测的资源受限边缘人工智能

    本文提出了一种早期预测机制 'Exit Predictor'，通过引导某些明显 “困难” 的数据样本绕过早期出口的计算，从而降低设备边缘混合推理系统中早期退出网络的设备计算负担。同时，还考虑了通信带宽的变化，在延迟感知的边缘推理中通过几个简单的回归模型来调整 Exit Predictor 的预测阈值和早期退出网络的置信度阈值，以适应不同带宽条件下推理的需求。实验结果表明，Exit Predictor 对于早期退出网络在准确性和设备计算负担之间取得更好的折衷效果。与基线方法相比，在不同带宽条件下，提出的延迟感知的边缘推理方法具有更高的推理准确性。

    Jun, 2022

  • 加速推理与减少遗忘：早退出网络在持续学习中的双重好处

    通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

    Mar, 2024

  • FIANCEE: 基于条件提前退出的对抗网络快速推断

    本文提出了一种利用早期退出支路来降低计算量的方法，并在两种最先进的生成任务模型上应用，即从语义映射中生成和面部表情的交叉重演，可以输出具有自定义较低质量阈值的图像，尤其适用于实时应用场景。

    Apr, 2023

  • 需要多个退出点：加速统一视觉语言模型的动态提前退出

    通过提出一种名为 MuE 的新颖的早期退出策略，可以在编解码器中动态地跳过图像和文本多模态的不同层，从而提高推理效率，该方法可将预期推理时间缩短 50％和 40％，同时保持高达 99％和 96％的性能。

    Nov, 2022

  • 动态编码器早期退出的加速编码 - 解码 Transformer 模型

    通过在解码层执行动态提前退出的方法（DEED），提出了一种多退出的编码器 - 解码器变换器模型，其能够在保持精确性的同时减少推理延迟。

    Nov, 2023