Jul, 2019

深层 ResNets 是否能被证明比线性预测器更好？

PDF
TL;DR本研究利用几何条件证明了多跳连接可以改善优化过程中的局部极小值问题，并证明了在 ResNet 的优化空间中的任何关键点要么优于最佳线性预测器，要么其 Hessian 矩阵有严格负的特征值。同时，我们还证明了深度残差网络的 “接近恒等区域” 的深度无关上界。
发现论文，激发创造
  • ResNets 是否可证明比线性预测器更好？

    本文通过严谨的证明表明，深度残差单元的非线性残差确实表现出了优化行为，并且极小化问题形成凸起，并证明了当在标准随机梯度下降训练网络时可以实现比任何线性预测器更好的目标值。

    Apr, 2018

  • 深度与非线性性在 ResNets 中不会产生不良局部极小值

    本文证明深度与非线性激活函数对于 ResNets 不存在坏局部最小值，且所有局部最小值的值都不会比相应的经典机器学习模型的全局最小值差，且保证可通过残差表示进一步改善，从而推进了深度学习的优化理论（但仅适用于 ResNets 而非其他网络结构）。

    Oct, 2018

  • ResNet 为什么有效？残差可以泛化

    本文研究残差连接对神经网络假设空间覆盖数以及泛化能力的影响，证明了哪怕是固定了权重矩阵和非线性函数的总数，残差连接不会增加神经网络的假设复杂性，并基于假设空间覆盖数得到了 ResNet 等采用残差连接的深度神经网络的多类泛化界。根据此泛化界，我们可以使用正则化项控制权重矩阵的模不要过度增大，以尽量达到良好的泛化性能。

    Apr, 2019

  • ResNet 解密

    ResNet 是一种残差网络，利用快捷连接显著减少了训练的难度，同时在训练和泛化误差方面都实现了很好的性能提升，我们提供了快捷连接 2 的独特理论解释，它可以使训练非常深的模型与浅的模型一样容易，同时我们的实验证明了通过使用快捷连接 2 进行小权重初始化，可以从不同的角度（最终损失、学习动态和稳定性，以及沿着学习过程的海森矩阵的行为）实现显着更好的结果。

    Nov, 2016

  • 为什么深度残差网络比深度前馈网络具有更好的泛化性能？——— 一种神经切向核的视角

    该论文从神经切向核的角度研究了深度学习中深层残差网络相对于前馈网络的泛化性能优势，并给出了数字结果支持。

    Feb, 2020

  • 残差网络中的身份连接提高噪声稳定性

    本研究比较 ResNets 和 PlnNets 的训练效率、泛化能力、容错率等性能，并探讨了两者之间简化版本的等价性，进而猜测 ResNets 泛化能力更强的原因与其较高的噪音容错能力有关，并通过实验支持了该猜想。

    May, 2019

  • Wider or Deeper: 重新审视 ResNet 模型在视觉识别中的应用

    本文探讨增加深度对神经网络性能提升的边际效益递减问题，提出一种更高效的残差网络结构并在图像分类和语义分割等领域实现了显著优越性能。

    Nov, 2016

  • 残差连接鼓励迭代推断

    研究表明，Residual networks 可以通过迭代改进特征来执行表示学习和迭代细化，但对于这一过程的全面理解仍然是一个研究课题，并且共享残差层会导致表征爆炸和过拟合，需要采用现有的策略来缓解这个问题。

    Oct, 2017

  • 具有单神经元隐藏层的 ResNet 是一种通用逼近器

    利用只有一个神经元和 ReLU 激活函数的堆叠模块组成的深度 ResNet 可以均匀逼近 $d$ 维的任何 Lebesgue 可积函数，这对于输入宽度为 $d$ 的全连接网络是不可能的，因此这一结果表明 ResNet 架构增加了窄深度网络的表征能力。

    Jun, 2018

  • 关于 ResNets 的时空表达性

    该研究论文研究了残差网络（ResNets）在监督学习中的作用，提出了其作为 ODEs 的时空近似，并探讨了通过 ResNets 中残差块的数量和表达能力的增加来逼近 ODEs 的解，并推导了一定规则下获得预定精度所需的残差块复杂性的估计。

    Oct, 2019