Jul, 2017

可逆残差网络：无需存储激活即可反向传播

PDF
TL;DR该研究介绍了一种新型的具有可逆性的深度残差网络，名为 RevNet，能够通过其后续层的激活来精确地重建每一层的激活，从而克服了传统深度残差网络在反向传播过程中所需要大量的存储空间，实现了与相同大小的深度残余网络相似的图像分类准确率。
发现论文，激发创造
  • 使用近似激活的反向传播进行内存高效网络训练

    本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

    Jan, 2019

  • IamNN：用于高效图像分类的迭代自适应移动神经网络

    本研究提出基于 ResNet 架构的参数共享和自适应计算时间的网络，该网络比原始网络更小，能够根据输入图像的复杂性调整计算成本。

    Apr, 2018

  • 任意深度残差神经网络可逆架构

    本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

    Sep, 2017

  • 卷积残差记忆网络

    通过在卷积残差网络中引入长短时记忆机制，增强了记忆机制加强卷积神经网络的性能，使得该方法在 CIFAR-100 基准测试上优于其他最先进的技术，并且在 CIFAR-10 和 SVHN 基准测试上与之相当，而且相比于深度相当的深度残差神经网络，网络宽度更大，深度更小，总体计算量更少。

    Jun, 2016

  • 高效内存可逆脉冲神经网络

    我们提出可逆脉冲神经网络以降低训练过程中中间激活和膜电位的内存成本，通过实验证明我们的可逆 SNN 网络在网络深度上不增加每张图片的内存成本，并比现有模型在准确性和消耗的 GPU 内存方面表现更好。

    Dec, 2023

  • i-RevNet：深度可逆网络

    通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力，并通过线性插值对模型学习到的信息进行了解释。

    Feb, 2018

  • 一种部分可逆的 U-Net 用于内存高效的体积图像分割

    在 3D 卷积神经网络分割方面，一种部分可逆的 U-Net 架构通过减小内存消耗实现了深度增强并提高了分割准确性，在 BraTS 挑战数据集上展示出了很大的内存节省。

    Jun, 2019

  • 动量残差神经网络

    本研究提出了一种新的神经网络结构，称为动量残差神经网络 (Momentum ResNets)，其采用可逆性结构和动量机制，优于现有的可逆结构，能够学习任何线性映射并在 CIFAR 和 ImageNet 上具有与 ResNets 相同的准确度，且具有更小的内存占用。

    Feb, 2021

  • 可逆循环神经网络

    该研究提出了一种称为可逆 RNN 的方法，用于优化循环神经网络，该方法可以在不存储 hidden activations 的情况下实现完全可逆，并降低激活内存成本，扩展到 attention-based sequence-to-sequence 模型中效果显著。

    Oct, 2018

  • Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

    本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

    Nov, 2016