深度神经网络的泛化性和表达性
本文研究神经网络的表达能力,提出了三种衡量表达能力的自然量,并探讨了神经网络层数与表达能力之间的关系,特别地找出了深度敏感性所在,同时分析了训练和输入 - 输出映射等因素对表达能力的影响。
Nov, 2016
本文提出了一种新的神经网络表达性问题的方法,其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出:(1)计算的函数复杂度随深度指数增长;(2)所有权重不同,加上轨迹正则化是批标准化的一个更简单的选择,但表现相同。
Jun, 2016
该论文提出了两个新标准,以评估深度神经网络的表达能力和计算函数,并同时比较增加层数和增加每层神经元数量对于提高模型表达能力的效果,从而增进对深度学习的理解。
Sep, 2020
简述:对深度学习的理论研究逐渐深入,从表示能力到优化、从梯度下降的泛化性质到固有隐藏复杂性的到达方式,已经有了一些解释;通过在分类任务中使用经典的均匀收敛结果,我们证明了在每个层的权重矩阵上施加单位范数约束下最小化替代指数型损失函数的有效性,从而解决了与深度网络泛化性能相关的一些谜团。
Aug, 2019
研究表明,神经网络的表达能力会随着局部感受域的重叠和更密集的连接而呈指数增长,最近的一些现代体系结构已经展示了指数级的表达能力提升,无需依赖于完全连接的层。
Mar, 2017
通过 Barron 定理,我们证明了一组满足某些 Fourier 条件的函数的组合可以通过一个多达 $n+1$ 层的神经网络来逼近,为深度神经网络的表达能力提供了解释。英文原文主要探讨了神经网络的一些基本性质以及其在生成模型领域的应用,建议阅读原文以获取更多细节。
Feb, 2017
评估深度学习模型在新颖数据上的泛化能力,通过对神经网络各层的性能评估,发现高分类准确性并不意味着高泛化能力,深层网络不总是最好的泛化模型,对模型不同层的泛化能力进行了探讨。
May, 2024
本文从深度神经网络的表达能力角度出发,研究了针对现代神经网络的对抗样本问题解决方法的普适性,提出了分析鲁棒性泛化间难以弥合距离的矛盾问题的理论框架。
May, 2022