Nov, 2018

可逆残差网络

PDF
TL;DR本研究展示了传统的 ResNet 模型可以被做成可逆的，这意味着同一个模型可以同时用于分类、密度估计和生成。令人惊讶的是，我们的方法只需要在训练时增加一个简单的归一化步骤，而不需要将维度分割或限制网络结构。作为一种生成模型，可逆的 ResNet 可以通过无标签数据的最大似然估计进行训练。为了计算似然，我们引入了一个可计算的对余块 Jacobian 行列式对数的近似值。实验证明，可逆 ResNet 在严格意义下表现出色，达到了同一个架构内同时具有现有最先进图像分类器和流式生成模型的性能。
resnetinvertiblegenerative modelmaximum likelihoodjacobian log-determinant
发现论文，激发创造
  • 可逆生成建模中的剩余流

    论文提出了 Residual Flows 的方法，该方法使用 “俄罗斯轮盘” 估计器提供可行的无偏似然估计，并使用一种替代无穷级数以线性内存对残差块进行训练，并取得了在流基模型密度估计方面的最优性能，并且在联合生成和判别建模上超过使用耦合块的网络。

    Jun, 2019

  • MintNet：使用掩蔽卷积构建可逆神经网络

    该论文提出了一种构建可逆神经网络的新方法，具有类似于 ResNets 的架构并且能够作为生成模型使用，在 MNIST、CIFAR-10 和 ImageNet 32x32 数据集的分类和生成任务中均表现得出色

    Jul, 2019

  • i-RevNet：深度可逆网络

    通过 i-RevNet 网络的可逆性证明了深度卷积网络并不需要通过逐步丢弃输入信息来学习代表信息以获得泛化能力，并通过线性插值对模型学习到的信息进行了解释。

    Feb, 2018

  • Resnet in Resnet：广义残差连接结构

    介绍了一个深度双流架构 Resnet in Resnet（RiR），该架构推广了 Residual networks（ResNets）和标准 CNNs，且无计算开销，通过在 CIFAR-10 上实现，RiR 不断提高性能、在 CIFAR-100 上创新了新的最优结果

    Mar, 2016

  • 可逆残差缩放模型

    通过学习特定分布下的高分辨率图像与低分辨率图像之间的双射映射，我们提出了可逆残差缩放模型 (IRRM) 来构建深度网络，通过长跳跃连接的残差降采样模块 (RDM) 和短连接的可逆残差块 (IRB) 来强制模型提取图像的高频信息，从而在图像缩放任务中显著优于其他先进方法，且使用更少的参数和复杂性。

    May, 2024

  • ResNets 是否可证明比线性预测器更好？

    本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

    Apr, 2018

  • 动量残差神经网络

    本研究提出了一种新的神经网络结构，称为动量残差神经网络 (Momentum ResNets)，其采用可逆性结构和动量机制，优于现有的可逆结构，能够学习任何线性映射并在 CIFAR 和 ImageNet 上具有与 ResNets 相同的准确度，且具有更小的内存占用。

    Feb, 2021

  • 任意深度残差神经网络可逆架构

    本研究将深度残差网络解释为普通微分方程，并由此开发出一种稳定和可逆的深度神经网络理论框架，以及提出了三种可任意加深的可逆神经网络架构，实现了对深度网络的记忆高效实现，并且通过实验证明了本文方法在 CIFAR-10，CIFAR-100 和 STL-10 等数据集上取得了明显的优于现有强基准的性能表现，并且能够通过使用更少的训练数据来训练神经网络。

    Sep, 2017

  • RNN 归来：用于可逆句子嵌入的残余循环网络

    该研究提出了一种基于残差递归网络的可逆句子嵌入模型，通过无监督编码任务来训练。我们的方法采用基于回归的输出层来重构输入序列的单词向量，通过 ADAM 优化器实现高准确度和快速训练，同时引入剩余连接和匹配放弃技术，表现出了在自然语言处理领域各种应用的潜力。

    Mar, 2023

  • 自由形式流动：使任何架构成为标准化流量

    我们通过使用梯度的有效估计器来克服了正规化流设计受到解析可逆性需求的约束，并实现了任意保持维度的神经网络作为最大似然训练的生成模型，在分子生成基准测试中取得了出色的结果，同时采用现成的 ResNet 架构在一个反问题基准测试中具有竞争力。

    Oct, 2023