运行时高效图像识别的分辨率可切换网络
通过利用元学习器生成不同输入尺度的主要网络的卷积权重并针对每个尺度维护私有的批量归一化层,同时利用知识蒸馏技术优化不同输入分辨率下的网络预测,我们学习的元网络可以动态地调节主要网络以适用于任意尺寸的输入图像,表现出相较于单一训练模型更好的准确性和执行效率。经过在 ImageNet 数据集上广泛的实验验证,我们的方法在自适应推断过程中实现了更好的准确性与效率权衡。
Jul, 2020
本论文提出一种新颖的分辨率自适应网络(RANet),通过利用输入样本的空间冗余性,有效地降低了深度网络的计算成本,同时在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上展示了其性能优越性。
Mar, 2020
本文重新研究了经典的 ResNet 模型,并重点讨论了模型架构、训练方法和扩展策略对模型性能的影响。作者发现,训练方法和扩展策略可能比模型架构的变化更重要,同时作者提出了两种新的扩展策略,并设计了一系列 ResNet 架构。实验结果表明,这些简单修改的 ResNet 模型比 EfficientNet 更快,且在 ImageNet 上达到了类似的准确性,同时在半监督学习和下游任务转移学习上也有显著提升。
Mar, 2021
文章提出了一个新的多阶段轻量级网络增强方法,利用加强的高分辨率输出作为轻量级学生网络的附加监督,进一步简化网络结构并采用有效的轻量级网络训练策略,实现了在 NTIRE 2023 高效超分辨率挑战赛中的最快推理时间,同时保持竞争力超分辨率性能。
Apr, 2023
本文介绍了一种简单通用的方法去训练单个神经网络的可执行不同宽度(即层中通道的数量),从而允许在运行时进行即时和自适应的准确性和效率权衡。基于共享网络的可切换批量归一化,可以在不同的宽度配置下进行训练,并可根据实时运行结果和资源限制在多个应用领域中实现类似甚至更好的准确性和效率表现。
Dec, 2018
该论文提出了一种名为 “通用可变宽度神经网络” 的系统方法,将可变宽度神经网络扩展到任意宽度,提出了两种改进的训练技术,能够提高训练过程和测试准确性;作者在 ImageNet 分类任务、图像超分辨率和深度强化学习任务上评估了其方法,证明其有效性,同时打开了直接评估网络结构 FLOPs-Accuracy 谱的可能性。
Mar, 2019
本文提出一种准确且轻量的深度学习网络结构用于图像超分辨率问题,该网络结构采用级联机制并在残差网络上实现,实验证明即使使用较少的参数和运算,该模型的性能与最先进的方法相当。
Mar, 2018
本研究旨在扩展残差网络的优点,如快速训练,用于低级视觉问题,即单个图像超分辨率,通过引入跳跃连接和逐渐改变网络形状的策略,该方法在单个图像超分辨率上取得了最新的 PSNR 和 SSIM 结果,并产生了视觉上令人愉悦的结果。
Mar, 2017