卷积神经网络的线性区域数量

ICMLJun, 2020

On the Number of Linear Regions of Convolutional Neural Networks

H. Xiong, L. Huang, M. Yu, L. Liu, F. Zhu...

TL;DR本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经网络和全连接神经网络更具表达能力。

Abstract

One fundamental problem in deep learning is understanding the outstanding performance of deep neural networks (NNs) in practice. One explanation for the superiority of NNs is that they can realize a large class o

deep learning neural networks expressivity relu cnns linear regions

发现论文，激发创造

网络中输入分布和线性区域之间相互作用的演变

对于基于 ReLU 的深度神经网络，我们通过计算线性凸区域的数量，证明了任何一维输入都需要至少一定数量的神经元来表达。我们还发现对于相同的网络，复杂的输入会限制其表达线性区域的能力。此外，我们揭示了 ReLU 网络在训练过程中决策边界的迭代优化过程。我们希望本研究能够激发网络优化的努力，并有助于深度网络行为的探索和分析。

Oct, 2023

深度网络中线性区域的复杂度

本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

Jan, 2019

图卷积网络线性区域数量的下限和上限

本研究关注图神经网络 (GNN) 表现力的特点，通过计算图卷积网络 (GCNs) 单层和多层情况下线性区域的数量得出深层 GCNs 比浅层 GCNs 具有更大的表现力，可能更接近于估计的下界。

Jun, 2022

深度整流网络线性区域的经验界限

通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

Oct, 2018

深度神经网络线性区域的界定和计数

本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

Nov, 2017

深度神经网络中线性区域特性的实证研究

通过局部属性的研究，探究了 DNN 的表达能力和优化技术对其决策边界的影响，并希望这一研究能够启示新型优化技术的设计和发现 DNN 的行为模式。

Jan, 2020

深度神经网络的线性区域数量

研究神经网络的深度和节点的线性区分性对于复杂计算的影响，并在对多个模型类型的分析中提出新的关于深度优势的理论结果，同时研究了高层次单元的行为。

Feb, 2014

通过最大线性区域的优化证明 ReLU 网络的鲁棒性

研究了神经网络分类器在安全关键系统中的应用，提出了一种对 ReLU 网络的正则化方案，使分类器的鲁棒性得到提升，并在实验中取得了较好的效果。

Oct, 2018

ReLU 神经网络的拓扑表现力

通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。

Oct, 2023

深度的 ReLU 网络具有惊人地少的激活模式

本文研究表明，深度神经网络的理论表达能力与实际学习能力存在较大差距，即使在初始化和训练期间模型中的激活模式数量也呈现出一定限制，这可能限制了现有方法实现深度神经网络的全部表达能力。

Jun, 2019