关于深度学习重叠架构的表现能力

ICLRMar, 2017

关于深度学习重叠架构的表现能力

On the Expressive Power of Overlapping Architectures of Deep Learning

Or Sharir, Amnon Shashua

TL;DR研究表明，神经网络的表达能力会随着局部感受域的重叠和更密集的连接而呈指数增长，最近的一些现代体系结构已经展示了指数级的表达能力提升，无需依赖于完全连接的层。

Abstract

expressive efficiency refers to the relation between two architectures A and B, whereby any function realized by B could be replicated by A, but there exists functions realized by A, which cannot be replicated by B unless its size grows significantly larger. For example, it is known th

expressive efficiency deep networks convolutional process connectivity neural networks

发现论文，激发创造

混合张量分解增强扩张卷积网络

本文研究通过连接层数的增加来增强深度网络的表达效率，应用于序列处理任务中的卷积神经网络，证明了深度和连接都能提高表现效果，并将这一发现应用于深度网络设计。

Mar, 2017

基于分层张量分解的卷积网络分析与设计

本文通过等价于分层张量分解的方式，分析了各种卷积神经网络架构特征的表达效率和归纳偏置，并提供了新的网络设计工具。

May, 2017

循环神经网络的表达能力

本文证明 Tensor Train 分解的一类循环神经网络的表达能力理论上是指数级别的，与 Hierarchical Tucker 张量分解所对应的深度卷积网络相比，使用 RNN 对图像进行逐块处理可以比使用仅具有一个隐藏层的 (浅层) 卷积网络更加高效。

Nov, 2017

深度神经网络的泛化性和表达性

该研究探讨深度网络的优势，结论为深度网络可以在不增加浅层网络容量的情况下具备出色的表现力，从而实现近乎最优的学习率。

Mar, 2018

深度神经网络的表现力

本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

Jun, 2016

深度神经网络表达能力调查

本文研究神经网络的表达能力，提出了三种衡量表达能力的自然量，并探讨了神经网络层数与表达能力之间的关系，特别地找出了深度敏感性所在，同时分析了训练和输入 - 输出映射等因素对表达能力的影响。

Nov, 2016

神经网络的表达能力：基于宽度的视角

本文研究神经网络的宽度对其表达能力的影响，证明了 width-$(n+4)$ ReLU 神经网络是一种通用逼近器，同时存在一些无法用宽度为 $n$ 的神经网络进行逼近的函数，表现出相变现象，结果展示了深度对 ReLU 网络的表达能力比宽度更为有效。

Sep, 2017

增长微小网络：发现并优化表达能力瓶颈

在这篇研究论文中，我们提出了一种新的机器学习方法，通过在训练过程中动态地调整神经网络的架构来解决架构选择和优化问题，从而避免了需要进行昂贵的架构参数优化。我们通过从反向传播中提取信息来检测和解决功能梯度路径上的表达能力瓶颈，从而实现可扩展性并优化训练过程，展示了在 CIFAR 数据集上与大型神经网络准确性相匹配的结果，并在竞争性训练时间内消除了标准架构超参数搜索的需要。

May, 2024

关于图神经网络的表达能力

该论文概述了图神经网络的 “表达能力” 概念，并就图神经网络的设计选择提供了有价值的见解。

Jan, 2024

深化神经网络优势的理论分析

该论文提出了两个新标准，以评估深度神经网络的表达能力和计算函数，并同时比较增加层数和增加每层神经元数量对于提高模型表达能力的效果，从而增进对深度学习的理解。

Sep, 2020