具有预算的超级网络的时间 / 内存高效深度架构学习

CVPRMay, 2017

具有预算的超级网络的时间 / 内存高效深度架构学习

Learning Time/Memory-Efficient Deep Architectures with Budgeted Super Networks

Tom Veniat, Ludovic Denoyer

TL;DR本文提出了一种名为 BSN 的新型神经网络，采用基于预算学习的梯度下降技术，在不假设成本性质的条件下，以最大允许成本作为目标函数，解决了神经网络预测效率和成本之间的平衡问题，并通过对计算成本、内存消耗成本和分布式计算成本的三种代价的处理，实现了优于 ResNet 和 Convolutional Neural Fabrics 的结构发现与学习能力。

Abstract

We propose to focus on the problem of discovering neural network architectures efficient in terms of both prediction quality and cost. For instance, our approach is able to solve the following tasks: learn a neural network able to predict well in less than 100 milliseconds or learn an

neural network efficiency budgeted learning computer vision architecture discovery

发现论文，激发创造

用神经架构搜索实现快速、精确和轻量级的超分辨率处理

使用神经架构搜索的多目标方法能够在以 FLOPS 为指标的量化实验中优于现有方法，以在资源受限条件下平衡模型的简单度和修复能力。

Jan, 2019

SuperNeurons: 为深度神经网络训练提供动态 GPU 内存管理

SuperNeurons 是一种 GPU 内存调度运行时，采用三种内存优化技术，联合使用从而将网络宽度与深度推向新高度，并解决 Deep Learning 从业者由于 GPU 内存受限而需要修改网络架构或手动分配显存的问题。

Jan, 2018

NetAdaptV2: 带快速超级网络训练和架构优化的高效神经网络架构搜索

本文提出 NetAdaptV2，通过三项创新工作平衡各个步骤的时间并支持非可微分搜索指标，进而加速神经结构搜索并提高神经网络性能。

Mar, 2021

基于深度神经网络的预算受限模型构建方法在大数据分析中的应用

本文提出了利用深度神经网络的方法来删除数据分析中的不太重要的特征，以在给定预算内开发适合的受预算限制的模型。

Feb, 2023

神经网络架构的贝叶斯学习

本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法，通过学习这些参数的具体分布来实现。研究表明，具有学习结构的正则网络在小数据集上可以更好地泛化，而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同，所提出的方法依赖于标准的神经变分学习，不需要对模型进行重新训练，从而最小化计算开销。

Jan, 2019

通过多级原位生成实现内存高效神经网络

本研究提出了一种通用和统一的框架，通过多级现场生成机制和混合精度基准，实现了高分辨率参数的即时恢复，从而以最小的硬件开销直接将昂贵的内存交易转换为超快的芯片内计算，提高了内存效率 10-20 倍。

Aug, 2021

深度监督网络

本文提出了一种名为深度监督网络（DSN）的方法，该方法同时最小化分类错误并使隐藏层的学习过程变得直接和透明；通过研究深层网络中的新表述，从卷积神经网络结构的三个方面来提高分类性能：中间层到整体分类的透明度、学习特征的区分能力及健壮性（特别是在早期层），以及存在爆炸和消失梯度的有效训练。我们在个别隐藏层中引入 “伴随目标”，并结合随机梯度方法来分析算法。实验结果表明，相对于现有方法，我们的方法具有显著的性能提升（例如在 MNIST，CIFAR-10，CIFAR-100 和 SVHN 等基准数据集上的表现均优于现有技术的最新水平）。

Sep, 2014

渐进式神经架构搜索

提出了使用序贯模型优化（SMBO）策略的 CNN 网络结构学习方法，与现有的强化学习和进化算法相比更加高效，并在 CIFAR-10 和 ImageNet 数据集上取得了新的最佳分类精度。

Dec, 2017

通过子模性和超模性优化神经网络架构

本文研究深度学习模型的架构对于模型测试精度和计算时间的影响，提出了一种基于子集选择问题的架构优化方法，通过实验验证了该方法的有效性并进行了架构演化的分析和设计建议。

Sep, 2016

一种硬件感知系统，用于加速深度神经网络优化

本文提出了一个自动且高效地从预训练的超网络中找到针对不同性能度量和硬件配置进行优化的子网络的综合系统，在多个领域中与现有最先进的超网络训练方法无缝配合，展示了如何将新颖的搜索策略与演化算法相结合，加速 ResNet50、MobileNetV3 和 Transformer 的搜索过程，并展示了比最先进的贝叶斯优化 WeakNAS 方法快 8 倍的搜索结果。

Feb, 2022