Aug, 2019

训练自适应深度网络的改进技术

PDF
TL;DR本文研究了如何更有效地训练具有多个中间分类器的自适应深度网络，提出了梯度均衡算法，内联子网络协作方法和一对所有知识蒸馏算法等三种方法，以改进分类器协作并进一步提高自适应性深度网络的效率。在 CIFAR-10，CIFAR-100 和 ImageNet 等多个数据集上展示了该方法相对于现有技术的改进效果。
adaptive inferencedeep learningcomputational efficiencytraining techniquescollaboration among classifiers
发现论文，激发创造
  • 适应性神经网络的高效推理

    通过自适应选取深度神经网络组件或网络进行评估，可以在不损失准确性的情况下，显著减少计算时间，例如在 ImageNet 图像识别挑战中，最多可加速 2.8 倍，并且仅有最高 5 个命中率的轻微损失。

    Feb, 2017

  • 协作学习的成本自适应推理

    我们提出了一个合作训练框架，用于深度神经网络架构，使得运行时的网络深度可以根据动态计算资源需求进行调整。

    Dec, 2023

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 自适应推断：理论限制和未开发的机会

    提出了第一个量化自适应推理算法效率和性能提升机会规模的理论框架，通过经验证据展示了在计算机视觉和自然语言处理任务中可以实现 10-100 倍的效率提升而不会造成任何性能损失，同时提供了关于通过自适应推理状态空间的最佳选择和设计来提高可实现的效率提升的见解。

    Feb, 2024

  • 通过启用输入自适应推理，同时提高准确性，鲁棒性和效率的三重胜利

    本文研究使用具有多个输出的输入自适应高效推理的多出口网络，名为 Robust Dynamic Inference Networks（简称 RDI-Nets）。该方法在平衡模型的准确度、鲁棒性和效率方面表现出强大的潜力，并相对于防御原始模型可以节省 30％的计算量。

    Feb, 2020

  • 可增量计算的神经网络：动态输入的高效推理

    深度学习和增量计算方法，采用向量量化处理输入数据，通过离散化中间值以便复用信息，应用于 Transformer 架构，实现了复杂度与输入变动比例成正比的高效增量推理算法，并通过实验证明在文档分类中达到了和传统方法几乎相等的准确性，但处理微小编辑序列时所需操作次数降低到了原先的 12.1 倍。

    Jul, 2023

  • 动态训练和可定制推断的弹性神经网络

    通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

    Dec, 2023

  • 自适应推理图卷积网络

    该文提出了一种自适应推理图的卷积网络 (CNN)，根据输入图像动态定义其网络拓扑结构，通过将相关类别的参数分组到一起并仅执行相关层，从而提高了效率和分类质量，并对自适应推理图对抗情况的鲁棒性进行了研究。

    Nov, 2017

  • 深度神经网络的完全动态推断

    提出了一种全动态模型的方法，称为 LC-Net，旨在最大化深度卷积神经网络的计算效率和任务准确性，通过以层和卷积滤波通道为单位的层次推理动力学，能够预测冗余层和卷积滤波器 / 通道并学习保留计算结果以实现最大化任务准确性。

    Jul, 2020

  • 高效推理的分辨率自适应网络

    本论文提出一种新颖的分辨率自适应网络（RANet），通过利用输入样本的空间冗余性，有效地降低了深度网络的计算成本，同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。

    Mar, 2020