linear regions | BriefGPT - AI 论文速递

关键词linear regions

搜索结果 - 11

深度网络线性区域的训练动态
在这项研究中，我们研究了连续分段仿射深度网络（如带有（渗漏的）ReLU 非线性的网络）训练动态的输入空间划分或线性区域，提出了一种包含了本地复杂性的新统计量，观察到在训练过程中，数据点周围的本地复杂性经历了几个阶段，与深度网络的记忆性和概括
PDF8 months ago
深度学习初期数据几何效应
研究深度神经网络对非欧几里得数据集的表达能力，通过分析随机初始化的神经网络和线性边界区域等密度和距离等因素，推导出线性函数的表达形式和限制条件。
PDF2 years ago
图卷积网络线性区域数量的下限和上限
本研究关注图神经网络 (GNN) 表现力的特点，通过计算图卷积网络 (GCNs) 单层和多层情况下线性区域的数量得出深层 GCNs 比浅层 GCNs 具有更大的表现力，可能更接近于估计的下界。
PDF2 years ago
ICLR四个 GPU 小时的 ImageNet 上神经架构搜索：理论启发视角
利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在 CIFAR-10 和 ImageNet 上只花费 0.5 和 4
PDF3 years ago
ICML深化神经网络优势的理论分析
该论文提出了两个新标准，以评估深度神经网络的表达能力和计算函数，并同时比较增加层数和增加每层神经元数量对于提高模型表达能力的效果，从而增进对深度学习的理解。
PDF4 years ago
ICML卷积神经网络的线性区域数量
本文研究深度神经网络的表达能力，用 ReLU 卷积神经网络的线性区域数量来量化表达能力，并给出一层 ReLU 卷积神经网络的线性区域数量的上下界以及多层 ReLU 卷积神经网络的最大和平均线性区域数量，结果表明深度卷积神经网络比浅层卷积神经
PDF4 years ago
ICML深度网络中线性区域的复杂度
本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。
PDF5 years ago
AAAI深度整流网络线性区域的经验界限
通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。
PDF6 years ago
分段线性激活函数的神经网络热带方法
本研究使用热带代数中 generalization 的概念对神经网络中的分段线性激活函数进行统一且独特的处理，将神经网络层看做是一个 tropical polynomial，进一步优化计算线性区域的上界，并提出了一种使用随机抽样有效计算线性
PDF6 years ago
ICML深度神经网络线性区域的界定和计数
本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数
PDF7 years ago
深度前馈网络使用分段线性激活函数的响应区域数量
本文研究了具有线性前突触耦合和整流线性激活的深度前馈网络的复杂性，并提供了一种比较深度和浅层模型的框架，该框架基于计算几何学中的分段线性函数。研究发现：即使当 $k$ 很小的时候，如果我们将 $n$ 限制为 $2n_0$，则深度模型具有比浅
PDF11 years ago