Feb, 2017

适应性神经网络的高效推理

PDF
TL;DR通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。
deep neural networksadaptive network evaluationnetwork selection systemcomputational timetop5 accuracy
发现论文，激发创造
  • 训练自适应深度网络的改进技术

    本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。

    Aug, 2019

  • 早期退出网络的自适应推断：设计、挑战与方向

    该研究论文介绍了早期退出网络的设计方法和最新进展，比较了与其他高效推理解决方案的优劣，并提出了未来研究的挑战和方向。

    Jun, 2021

  • EENet: 适应推理的学习早期退出

    本研究提出了一种基于多目标学习的多出口深度神经网络推理框架 EENet，以优化在给定推理预算下的早期退出策略。 EENet 早期退出调度程序优化测试样本分配到不同退出，同时选择退出效用阈值，以满足给定的推理预算，同时最大化性能指标。与现有代表性早期退出技术相比，EENet 可以显着提高性能。

    Jan, 2023

  • AdaNet：人工神经网络的自适应结构学习

    本文提出了新的自适应学习人工神经网络的算法 (AdaNet)，可以同时自适应地学习网络结构和权重。通过大规模实验，证明该算法在二元分类任务中表现出色，并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。

    Jul, 2016

  • 神经网络动态推理的早期分类

    该研究论文介绍了一种基于类别排除的动态推理方法，通过在中间层分配分类器并利用其学习到的特征排除尽可能多的无关类别，从而显著降低深度神经网络在推理中的计算成本。

    Sep, 2023

  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 级联深度分类器的高效摊销推理

    该论文提出了一种使用深度神经网络级联和选择模块的新框架，通过同时优化预测准确性和能耗，实现了在测试时间的有效成本 - 准确性权衡，验证了该方法在图像分类任务中优于标准训练的 ResNets，对 CIFAR-10/100 数据集的 FLOPs 成本需求不到 20% 和 50%，在 ImageNet 数据集上只需求 66%。

    Oct, 2017

  • 面向能耗限制的图像分类自适应神经网络设计

    本研究采用超参数优化的设计范式，将 CNN 的架构设置视为全局优化的超参数，以解决现有方法中网络处理数据而不是网络架构的局限性，实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。

    Aug, 2018

  • 基于记忆的参数适应

    通过存储案例，使用基于上下文的查找直接修改神经网络的权重，以 Memory-based Parameter Adaptation 为核心的方法，可以在监督任务中有效地改善深度神经网络的性能和训练速度。

    Feb, 2018