基于竖向切片网络的任意时间神经预测

Jul, 2018

基于竖向切片网络的任意时间神经预测

Anytime Neural Prediction via Slicing Networks Vertically

Hankook Lee, Jinwoo Shin

TL;DR在本文中，我们提出了许多包容性的全新的 Thin Sub-networks 架构，并通过强制在多分支网络参数上施加某些稀疏模式来训练它们，实现更高效的任意时间预测。我们在 ImageNet 数据集上进行的实验表明，相对于同等准确性的任意时间模型，其子网络可减少高达 43.3％的大小（FLOPs）

Abstract

The pioneer deep neural networks (DNNs) have emerged to be deeper or wider for improving their accuracy in various applications of artificial intelligence. However, DNNs are often too heavy to deploy in practice, and it is often required to control their architectures dynamically given

deep neural networks thin sub-networks anytime prediction sparsity pattern imagenet dataset

发现论文，激发创造

动态训练和可定制推断的弹性神经网络

通过动态神经网络的方法，我们提出了一种训练大型网络并在推理阶段从中提取子网络的简单方式，以满足模型尺寸或复杂性约束，实验证明该方法可以在单个大型模型中显著缩短训练时间，并在不同子网络尺寸和复杂性上有效提高分离性能。

Dec, 2023

正交化 SGD 和嵌套架构用于任意时间的神经网络

提出了一种新的 SGD 算法 -- 正交 SGD，用于训练支持任意行为的网络架构，通过重用内部状态，可以在时间上产生一系列越来越准确的输出，该算法可以在任务特定梯度之间动态地平衡，并显著提高网络的泛化性能。

Aug, 2020

宽 - 窄：高效训练深瘦网络

本研究提出了一种基于模型压缩和神经平均场分析的新型深度学习网络优化方法，并通过大量实验证明其优于传统的反向传播方法，可使经过我们的优化方法训练后的 ResNet50 在性能上超越 ResNet101，而 BERT Base 则可以与 BERT Large 相媲美。

Jul, 2020

支持弹性推理的复杂分析的模型切片成本和资源限制

本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。

Apr, 2019

任意精度深度神经网络

提出了一种新方法训练任意精度深度神经网络（DNNs），可以在推断时灵活地设置数字精度，从而支持动态速度和准确度的折衷，并且该方法不会降低性能，该方法适用于多个视觉任务和模型结构

Nov, 2019

具有可跳过子路径的自适应深度网络

系统地在运行时适应网络深度可以有效地控制推理延迟并满足各种设备的资源条件。本文提出了一种适应深度网络的架构模式和训练方法，在单个网络中提供灵活的准确性 - 效率权衡。

Dec, 2023

SortedNet：为每个网络提供位置，为每个网络找到合适位置：面向广义解决方案的训练多对一神经网络

深度学习模型大小的增长导致在内存和计算约束下寻找最优模型变得更加重要，该论文提出了 SortedNet，一种利用深度神经网络的内在模块化性质实现高效动态推断的通用可扩展解决方案。我们的训练方法考虑了子模型的嵌套架构和共享参数，并以排序和概率的方式一起训练主模型和子模型。在推断过程中，我们无需搜索即可选择子网络，并且生成的子网络具有最小的存储要求和高效的切换能力。实验证明该方法的有效性，同时在保持模型性能的情况下，演示了我们的方法在同时训练多达 160 个不同子模型的广泛可扩展性。

Sep, 2023

TIPS: 任意时刻神经网络的拓扑重要路径采样

提出了一种基于马尔可夫链的分析方法，用于自动设计具有任意模型复杂度的神经网络，并且实验证明该方法在多种数据集上能够提高神经网络的准确性和收敛速度。

May, 2023

DRESS：动态实时稀疏子网络

本文提出了一种名为 DRESS 的新型训练算法，用于从同一主干网络中通过基于行的非结构稀疏性采样多个子网络，并通过加权损失并行训练这些子网络，以及利用参数重用和基于行的精细采样策略来实现高效存储和设备适应。在公共视觉数据集上的大量实验证明，DRESS 比最先进的子网络具有显着更高的准确性。

Jul, 2022

NestedNet: 在深度神经网络中学习嵌套稀疏结构

本文提出了一种新的深度学习框架，称为嵌套稀疏网络，它利用神经网络中的 n-in-1 类型嵌套结构，实现资源感知的多功能体系结构，可以满足不同的资源要求，并利用层次分类实现了多任务学习。此外，我们还提出了有效的权重连接学习和通道和层次调度策略，评估了我们的网络在多种任务中的性能。结果表明，嵌套稀疏网络相比现有方法具有更高的效率和竞争力。

Dec, 2017