Feb, 2024

剖析残差学习的内幕

PDF
TL;DR通过发现神经网络中的 “消散输入” 现象，我们揭示了残差学习背后的基本原理，从而解决了深度可扩展的普通神经网络训练中收敛失败的挑战，并提出了 “普通神经网络假设”（PNNH）来支持无残差连接的深度普通神经网络训练，通过在流行的视觉基准测试中对 PNNH 启用的 CNN 架构和 Transformers 进行全面评估，并展示了与 ResNets 和视觉 Transformers 相比的相当准确性、高达 0.3% 更高的训练吞吐量和 2 倍更好的参数效率。
residual learningplain neural netsconvergence failurefeature representationspnnh
发现论文，激发创造
  • 残差网络中的身份连接提高噪声稳定性

    本研究比较 ResNets 和 PlnNets 的训练效率、泛化能力、容错率等性能，并探讨了两者之间简化版本的等价性，进而猜测 ResNets 泛化能力更强的原因与其较高的噪音容错能力有关，并通过实验支持了该猜想。

    May, 2019

  • ResNet 为什么有效？残差可以泛化

    本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

    Apr, 2019

  • ResNets 是否可证明比线性预测器更好？

    本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

    Apr, 2018

  • 残差神经网络的深层限制

    本文研究了残差神经网络模型，并展示了该模型的深层级极限的收敛问题，证明了残差神经网络模型的优化参数在深层级极限的情况下是收敛的。

    Oct, 2018

  • 连接残差学习、循环神经网络和视觉皮层之间的差距

    研究深度残差网络（ResNet）、循环神经网络（RNN）和灵长类视觉皮层之间的关系。作者提出了一种将浅层 RNN 与 ResNet 进行结合以及一种基于 RNN 的新型神经网络架构，并通过对 CIFAR-10 和 ImageNet 数据集的测试证明了其有效性。

    Apr, 2016

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • 可视化残差网络

    本篇论文通过定性视觉和实证分析，研究残差网络中残差跳转连接的作用，揭示残差跳转连接强制不同层次的卷积层区分特征的实际意义，证明残差网络遵循卷积神经网络慢慢学习局部特征并学习整个物体全局特征的普适性。

    Jan, 2017

  • 通过解决脉冲神经网络退化的关键问题推进深度残差学习

    通过提出一种新的残差块并将其应用于神经形态计算的 SNN，本文成功扩展了 SNN 的深度，获得了较高的准确率和极低的能量消耗。

    Dec, 2021

  • 神经残差扩散模型用于深度可拓展视觉生成

    使用神经残差扩散模型 (Neural Residual Diffusion Models) 框架，引入一系列可学习的门控残差参数来改善生成网络的可扩展性和生成内容的保真度与一致性。

    Jun, 2024

  • 为什么深度残差网络比深度前馈网络具有更好的泛化性能？——— 一种神经切向核的视角

    该论文从神经切向核的角度研究了深度学习中深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。

    Feb, 2020