May, 2021

MutualNet: 通过从不同模型配置中相互学习实现自适应的 ConvNet

PDF
TL;DR本文提出使用 MutualNet 方法可以训练单个网络在不同的资源限制条件下进行运行，且本方法适用于各种神经网络架构和任务，并且能够降低训练成本。
deep neural networksresource constraintsmutual learning schememodel configurationstraining cost
发现论文，激发创造
  • MutualNet: 通过宽度和分辨率的相互学习来自适应卷积神经网络

    提出了宽度 - 分辨率互学习方法 MutualNet，通过训练不同宽度的多个子网络来实现自适应准确性和效率之间的权衡，最终在不同计算约束下，通过互学习获得更好的 ImageNet top-1 精度。

    Sep, 2019

  • muNet: 将预训练的深度神经网络进化为可扩展的自动调整多任务系统

    采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。

    May, 2022

  • 协作学习的成本自适应推理

    我们提出了一个合作训练框架，用于深度神经网络架构，使得运行时的网络深度可以根据动态计算资源需求进行调整。

    Dec, 2023

  • MEAL: 通过对抗学习的多模型集成

    本研究提出了一种使用对抗训练法来压缩深度学习网络集合达到知识蒸馏目的的方法，并证明了该方法有效，性能优于传统集成模型，能够学习任意结构的教师模型知识，快速进行推理，模型归档和代码都是开放的。

    Dec, 2018

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • AdaShare：学习数据共享策略以提高深度多任务学习效率

    本文提出了一种自适应共享方法 AdaShare，通过任务特定的策略选择性地决定跨哪些任务共享众多的深度神经网络层，从而实现最佳识别准确度和资源效率。实验表明，该方法针对具有多个任务的不同基准数据集具有优异的效果。

    Nov, 2019

  • 在相互学习中基于贝叶斯神经网络的模型和特征多样性

    通过深度相互学习提高贝叶斯神经网络（BNNs）性能，增加网络参数分布和特征分布的多样性，促进同行网络获取不同特征，从而提高了分类准确性。

    Jul, 2024

  • 学习学习参数化分类网络以扩展输入图像

    通过利用元学习器生成不同输入尺度的主要网络的卷积权重并针对每个尺度维护私有的批量归一化层，同时利用知识蒸馏技术优化不同输入分辨率下的网络预测，我们学习的元网络可以动态地调节主要网络以适用于任意尺寸的输入图像，表现出相较于单一训练模型更好的准确性和执行效率。经过在 ImageNet 数据集上广泛的实验验证，我们的方法在自适应推断过程中实现了更好的准确性与效率权衡。

    Jul, 2020

  • 可压缩神经网络

    本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度（即层中通道的数量），从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化，可以在不同的宽度配置下进行训练，并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。

    Dec, 2018

  • 利用部分网络共享进行深度卷积神经网络的增量学习

    本研究提出了一种高效的深度卷积神经网络训练方法，基于增量学习的技术思想，允许网络在学习新任务时共享以前学习过的卷积层，同时不会丢失以前学习过的任务，通过克隆 - 分支技术，每次逐一地学习新任务，达到节省时间、能源和存储等复杂度的目的。

    Dec, 2017