Apr, 2023

FIANCEE: 基于条件提前退出的对抗网络快速推断

PDF
TL;DR本文提出了一种利用早期退出支路来降低计算量的方法，并在两种最先进的生成任务模型上应用，即从语义映射中生成和面部表情的交叉重演，可以输出具有自定义较低质量阈值的图像，尤其适用于实时应用场景。
generative dnnsearly exit branchescomputational loadimage synthesisquality
发现论文，激发创造
  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • 早期退出网络的自适应推断：设计、挑战与方向

    该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

    Jun, 2021

  • 动态神经网络的联合推理和推断：JEI-DNN

    大型预训练模型与微调相结合，在机器学习中逐渐成为主要的架构。早期退出动态神经网络（EDNN）通过允许模型从中间层进行预测（即早期退出），绕过了每个推理所需的资源过多的限制。我们提出了一种连接这两个模块的新型架构，这在分类数据集上带来了显著的性能提升，并且具有更好的不确定性特征。

    Oct, 2023

  • 训练医学图像生成对抗网络的提前停止准则

    本研究提出了一种新颖的早停准则，通过定量检测训练问题来减少 GAN 的计算成本，生成多样化和高质量的生物医学图像。

    May, 2024

  • 加速推理与减少遗忘：早退出网络在持续学习中的双重好处

    通过实验证明，早期退出网络和持续学习之间存在内在的协同作用，强调它们在资源受限环境中的实际效用。

    Mar, 2024

  • FrameExit：面向高效视频识别的条件式提前退出

    本文提出了一种条件早期退出框架，它采用简单的采样策略和级联的门控模块来自动决定处理最早推理的时点，在需要的情况下提供实时监督信号来提供精度和计算成本之间的动态权衡，以实现高效的视频识别。该方法在三个大规模视频基准测试中均优于竞争方法，在 ActivityNet1.3 和 mini-kinetics 上甚至具有 1.3 倍和 2.1 倍的计算成本降低。此外，该方法在 HVU 基准测试上确立了高效视频理解的新状态。

    Apr, 2021

  • 通过强制条件单调性实现早期退出结构的任意时刻分类

    本研究提出了一种基于 Product-of-Experts 的修改方法，使得早期退出网络在计算过程中逐渐变得自信，并具有预测质量的条件单调性，从而在保持竞争力的前提下实现了真正的任意时间预测建模。

    Jun, 2023

  • 失真图像的早期退出深度神经网络：提供高效的边缘卸载

    通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

    Aug, 2021

  • 使用较少标签进行高保真图像生成

    本文介绍了如何利用自监督学习和半监督学习等技术结合生成式对抗网络，实现在仅使用少量标签数据的情况下，超越当前最先进的深度生成模型，并在 ImageNet 的无监督合成和有条件的情况下，匹配 BigGAN 模型的样本质量。

    Mar, 2019

  • 噪声无线信道上的自适应提前退出协同推理

    协作推理系统是在无线网络边缘部署深度神经网络的新兴解决方案之一。本研究工作通过评估不同的传输决策机制，实验证明在无线边缘上适当利用早期退出可以在图像分类任务中提供性能增益和显著的通信节省。

    Nov, 2023