Jun, 2018

多分支结构的深度神经网络更少非凸性

PDF
TL;DR我们研究了类似 ResNeXt、Inception、Xception、SqueezeNet 和 Wide ResNet 的多路神经网络结构，并发现这些架构的成功原因之一在于它们较少具有内在非凸性，我们提供了两类网络结构对其对偶间隙的量化保证，表明在这些网络的分支数量增加时，对偶间隙会缩小到零，而这个结果使我们更好地理解了过度参数化的能力和减少非凸问题表面的重要意义。
neural networksmulti-branch architectureduality gapoptimizationover-parametrization
发现论文，激发创造
  • 通过凸对偶揭示深度神经网络的结构

    本文研究正则化深度神经网络及其隐层结构，通过凸分析框架构建问题的最优隐层权重，证明 For 深度 ReLU 网络，权重矩阵与之前的层通过对偶对齐，并给出了数据为基态或白话时的权重的解析解。同时，该研究也可以甚至适用于具有批归一化架构的深度神经网络，并给出了 “神经坍塌” 现象的完整解释。

    Feb, 2020

  • 多元神经网络学习真实目标函数

    通过对具有 ReLU 激活函数的一层神经网络的分析，我们发现神经网络具有良好的优化特性，其具有多样的单元没有虚假局部最小值，在满足 “扩展特征矩阵” 的最小奇异值足够大的条件下，可以使损失函数变得任意小。

    Nov, 2016

  • 神经重建背后的凸正则化

    本文提出了一种凸二元框架用于优化神经网络，从而解决了其在敏感应用如医学成像中的非凸和不透明性质的问题。该凸对偶网络不仅能够通过凸优化器获得最优训练，还有利于训练和预测的解释，特别是通过权重衰减正则化训练神经网络，诱导路径稀疏性的同时，预测是分段线性滤波。实验结果表明，该凸对偶网络优化问题在 MNIST 和 fastMRI 数据集上有效。

    Dec, 2020

  • 利用凸神经网络打破维度诅咒

    研究神经网络单隐层的一般化性能，使用非欧几里得正则化工具，证明了它们适应未知的线性结构，而使用稀疏感应规范则可以实现高维非线性变量选择，提供了简单的几何解释，并提供了一些凸松弛的简单条件来实现相同的一般化误差界限，留下存在或不存在多项式时间算法的问题。

    Dec, 2014

  • 自动搜索资源有效分支多任务网络

    本文提出了一种基于不可微神经网络结构搜索的有原则方法，用于自动定义多任务神经网络编码阶段的分支结构。该方法通过引入资源感知损失来使模型尺寸动态地可控，最终在有限资源预算内找到高性能分支结构。

    Aug, 2020

  • 深且狭窄的神经网络不是万能逼近器

    本文研究神经网络架构对其所能近似的所有函数的级集所施加的拓扑限制，这种方法是独特的，因为它的限制是独立于广泛家族的激活函数的网络深度的。

    Sep, 2018

  • 深度网络与浅层网络：逼近论视角

    本文回顾了最近关于层级神经网络结构的研究成果，探讨了深度卷积神经网络优于浅层神经网络在函数近似问题中的表现条件。本文提出了一个新的对于相对维度的定义，该定义可以被深层网络而非浅层网络使用以显著降低近似和学习所需的复杂度。同时，本文还宣布了关于当前神经网络中使用的非平滑激活函数 - ReLU 函数以及高斯网络的新结果。

    Aug, 2016

  • 深且宽神经网络的损失曲面

    本文研究完全连接网络的优化问题，发现在具有金字塔结构、使用平方损失函数和分析激活函数的情况下，只要网络每层隐藏单元数大于训练点数，几乎所有的局部最小值都是全局最优解。

    Apr, 2017

  • 再次让深度网络变得浅显

    通过研究深度神经网络中的残差连接，提出了一种平行浅层架构的替代方案，通过在 Taylor 级数表达式中截断高阶项，发现广而浅的网络架构在性能上与传统的深层架构相当，这一发现有望简化网络架构、提高优化效率并加速训练过程。

    Sep, 2023

  • 深度神经网络的稳定结构

    本文提出了一种新颖的前向传播算法，其灵感来源于 ODE 系统，能够克服深度神经网络设计和训练中的挑战，并通过对稳定性和合理性的分析，发展了新的网络架构，以稳定深度学习，且具有竞争力。

    May, 2017