ICLRApr, 2018

IamNN：用于高效图像分类的迭代自适应移动神经网络

PDF
TL;DR本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。
deep learningresidual networksshortcut connectionsparameter sharingadaptive computation time
发现论文，激发创造
  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • Resnet in Resnet：广义残差连接结构

    介绍了一个深度双流架构 Resnet in Resnet（RiR），该架构推广了 Residual networks（ResNets）和标准 CNNs，且无计算开销，通过在 CIFAR-10 上实现，RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果

    Mar, 2016

  • 残差网络的自适应计算时间

    该论文提出了一种基于残差网络的深度学习架构，动态调整图像区域执行的层数，提高图像分类和物体检测的计算效率，并在实验中证明了计算时间映射与人眼注视位置之间具有惊人的相关性。

    Dec, 2016

  • 高效的 ResNets: 残差网络设计

    本研究设计和训练了一个大小不超过 500 万可训练参数的修改版 ResNet 模型用于 CIFAR-10 图像分类，通过一些训练策略和合适的超参数，最终测试准确率达到 96.04％。

    Jun, 2023

  • ReNet：基于循环神经网络的卷积网络替代方案

    本文提出了一种基于循环神经网络的深度神经网络架构 (ReNet) 用于目标识别，该网络使用四个循环神经网络替换了深度卷积神经网络中常用的卷积 + 池化层，并在 MNIST、CIFAR-10 和 SVHN 三个广泛使用的基准数据集上进行评估，结果表明 ReNet 是深度卷积神经网络的可行替代方案，并且需要进一步研究。

    May, 2015

  • 深度残差神经网络的分层并行训练

    该论文提出了一种基于多格迭代和并行计算的新型深度神经网络训练算法，和传统的序列前向、后向传播不同，该方法使神经网络的训练过程具备了层间的并行性，并取得了与传统方法相当的训练性能。

    Dec, 2018

  • 多重残差网络：提高残差网络的速度和准确性

    本文提出了一种新的卷积神经网络架构，该架构通过扩展残差网络的层数，明确利用非常深网络的集成表现，并使模型变宽而不是更深，从而显著提高了准确性。受多元残差网络的并行结构启发，本研究还探讨了一种模型并行技术，该技术使残差块的计算分布在处理器之间，计算复杂度提高了 15%。最后，我们证明了我们模型在 ImageNet 分类数据集上优于大多数现有模型的表现。

    Sep, 2016

  • 深度残差网络和权重初始化

    本篇论文分析了 ResNet 的简化模型，并认为 ResNet 的好处与其对初始权重的选择较为不敏感有关系。此外，本文还演示了如何利用批归一化提高深度 ResNets 的反向传播能力，而无需调整初始权重值。

    Sep, 2017

  • 卷积残差记忆网络

    通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

    Jun, 2016

  • 深度残差网络中学习严格身份映射

    本文提出一种名为 epsilon-ResNet 的深度学习网络，通过单次训练中的层选取达到在图像识别等多个领域中达到与超深残差网络相当甚至更好的性能，同时减少了 80% 左右的参数数量。

    Apr, 2018