深度神经网络的表现力

ICMLJun, 2016

On the Expressive Power of Deep Neural Networks

Maithra Raghu, Ben Poole, Jon Kleinberg, Surya Ganguli, Jascha Sohl-Dickstein

TL;DR本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

Abstract

We propose a new approach to the problem of neural network expressivity, which seeks to characterize how structural properties of a neural network family affect the functions it is able to compute. Our approach is based on an interrelated set of measures of expressivity, unified by the

neural network expressivity trajectory length complexity weights regularization

发现论文，激发创造

深度神经网络表达能力调查

本文研究神经网络的表达能力，提出了三种衡量表达能力的自然量，并探讨了神经网络层数与表达能力之间的关系，特别地找出了深度敏感性所在，同时分析了训练和输入 - 输出映射等因素对表达能力的影响。

Nov, 2016

深度多项式神经网络的表达能力

通过研究多项式激活的深度神经网络，我们提出了 “维度” 作为多项式神经网络表现力的度量标准，并探讨了它受体系结构影响的理论结果。同时，我们还将我们的研究与有利的优化性质联系起来，以及与张量和多项式分解等领域产生了有趣的关联。

May, 2019

关于图神经网络的表达能力

该论文概述了图神经网络的 “表达能力” 概念，并就图神经网络的设计选择提供了有价值的见解。

Jan, 2024

神经网络的表达能力：基于宽度的视角

本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。

Sep, 2017

循环神经网络的表达能力

本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。

Nov, 2017

深化神经网络优势的理论分析

该论文提出了两个新标准，以评估深度神经网络的表达能力和计算函数，并同时比较增加层数和增加每层神经元数量对于提高模型表达能力的效果，从而增进对深度学习的理解。

Sep, 2020

深度神经网络的泛化性和表达性

该研究探讨深度网络的优势，结论为深度网络可以在不增加浅层网络容量的情况下具备出色的表现力，从而实现近乎最优的学习率。

Mar, 2018

通过瞬态混沌实现深度神经网络的指数表现能力

本文利用黎曼几何和高维混沌的平均场理论相结合，研究了具有随机权重的通用深度神经网络中信号传播的性质。我们的研究结果揭示了从秩序相到混沌相的表达能力相变，并证明了浅层网络无法高效地计算这种深度随机函数族。此外，我们定量证明了深度网络可以将输入空间中高度曲率的流形分解成隐藏空间中的平坦流形。

Jun, 2016

图神经网络在节点分类方面逐渐失去表达能力

对图神经网络进行研究，通过看其在无穷大层神经元的情况下的渐进行为，探讨了 GCNs 的表达能力，发现 GCNs 的表达能力与其底层图的拓扑信息相关，提供了一种基于权值归一化的方法，增强了真实数据下 GCNs 的性能。

May, 2019

当浅层模型强时，是否更深层模型更好？

该论文研究了深层神经网络在梯度下降最优化过程中利用深度的表达能力，证明了具有分形结构的分布可以被深层网络有效地表达，而浅层网络无法表达。论文还探讨了粗细篮子之间的平衡如何影响深度神经网络的优化过程，并推断了学习深度神经网络是否成功取决于分布是否可以被浅层网络很好地逼近的结论。

Mar, 2019