ICMLNov, 2018

深度神经网络的分类：良性和病态

PDF
TL;DR介绍了一种新颖的方法，用于初始状态下深度神经网络的表征，并应用于全连接和卷积网络，能容易地整合批量归一化和跳跃连接，并对信号和噪声的统计矩的深度演化进行表征，从而表征超参数选择所编码的假设空间中的病理存在或缺失。对于前馈网络，无论是否批量归一化，其层组合的乘性不可避免地导致不良的矩和病理；而对于批量归一化的残差网络，跳跃连接导致幂律而不是指数行为，从而导致良好的矩和无病理。
deep neural networksinitializationbatch normalizationskip-connectionspathologies
发现论文，激发创造
  • 避免非正常问题的超深度网络

    研究了深度高斯过程、网络结构、协方差函数、dropout 和正则化策略对深度网络预测性能的影响。在标准网络结构中，网络表示容量会随层数增加而减少，通过提出一种新的网络结构来避免这一问题。同时，通过分析无穷多特征变换组合的深度协方差函数，阐明了 Gaussian processes 上 dropout 的影响。

    Feb, 2014

  • 缓解宽神经网络病态尖锐度的规范化方法

    通过量化 Fisher 信息矩阵确定的参数空间的几何，我们揭示了在深度神经网络中，批标准化作为最后一层标准化方法，对减少 Fisher 信息矩阵导致的病态锐度具有明显的贡献。

    Jun, 2019

  • 深度神经网络中可训练性和泛化能力的分离

    本文通过分析神经核算法的光谱，提供了对于训练和推广条件的表征，特别地，在讨论极深和宽的神经网络时，发现神经核数仅仅维持有限的数据相关性，并考虑各种网络模型在很大的超参数空间区域内训练集过度拟合而且通常无法推广；同时，与深度神经网络及其卷积形式的全局平均池化相关的理论和实验结果得到了分析。

    Dec, 2019

  • 深度神经网络的拓扑学

    通过对二元分类问题的数据集进行拓扑学分析，研究网络层数对于数据拓扑的影响，发现神经网络能够通过非同胚映射改变数据的拓扑结构，且 ReLU 激活函数能更有效地实现拓扑的转换。

    Apr, 2020

  • 深度神经网络的表现力

    本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

    Jun, 2016

  • 特征化信号传播以缩小未标准化 ResNets 性能差距

    该研究介绍了一种能够设计高效 ResNets 网络的分析工具，通过采用一种改进后的 Weight Standardization 技术，该分析工具的作用在于确保具有 ReLU 或 Swish 激活函数的信号在网络的深度方向上不发生偏移以达到在 FLOP 预算范围内与当今最先进的 EfficientNets 在 ImageNet 上的性能竞争可比性。

    Jan, 2021

  • 重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为

    本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

    Oct, 2017

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 神经网络的迷人特性

    本论文在研究深度神经网络的高层特性时，发现高层单元与随机线性组合之间没有明显差别，并得出神经网络学习的输入输出映射具有不连续性以及网络可被微小扰动误分类等结论。

    Dec, 2013

  • 深度异方差回归病理的理解

    本文从统计物理的角度研究了使用异方差神经回归模型对实际数据建模时遇到的困难，并且通过推导出的非参数自由能得出结论，证明了二阶段变化的存在，本文提供了异方差回归模型的理论解释，并提出一种优化正则化的方案。

    Jun, 2023