Jun, 2023

ReLU 分类器边界条目的精确计数：朝着分类的恰当复杂度度量

PDF
TL;DR本文提出一种新方法，通过测量决策边界复杂度来提高分类器的泛化能力和鲁棒性，以 ReLU 神经网络为例，使用热带几何学发展了一种可数边界复杂度的方法，并发现边界复杂度与分类器的其它性能指标不相关，同时也与分类器的鲁棒性负相关。
regularizationclassificationboundary complexityrelu neural networksrobustness
发现论文，激发创造
  • 深度网络中线性区域的复杂度

    本研究通过提供一种数学框架来计算分段线性网络的线性区域数量和边界体积，证明神经网络在初始化时的线性区域数量沿任何一维子空间的平均值是总神经元数的线性增长，远低于指数上界，我们得出结论：神经网络的实际表达能力可能远低于理论最大值，并可以量化。

    Jan, 2019

  • 针对 ReLU 网络的对抗性样本的鲁棒性证书

    本文提出一种基于深度 ReLU 网络的攻击不可知的稳健性证书，用于多标签分类问题，通过利用 ReLU 网络的分段线性结构，提出了两个距离下界，分别为单纯形证书和决策边界证书，其中单纯形证书具有闭合形式，可微性和计算速度快的特点，并在 MNIST 数据集上验证其理论有效性。

    Feb, 2019

  • 学习 ReLU 网络以高均匀精度是不可解的

    本文中，我们在非线性神经网络学习问题上，通过精确量化每个训练算法所需的最小训练样本数量，以保证目标类中包含或由预定义结构的 ReLU 神经网络的高精度，从而证明了在非常一般的假设下，训练样本的最小数量随着网络结构的深度和输入维度呈指数级增长。

    May, 2022

  • 针对 ReLU DNN 的变换复杂度的理论分析

    本文提出了一种使用信息论度量转换复杂度的指标，并探究了转换复杂度与 disentanglement 之间的强相关性，进一步分析了 DNN 训练过程中的两个典型现象，还探讨了 DNN 复杂度的上限，并使用提出的指标作为损失，学习具有最小复杂度的 DNN，并控制过拟合水平等，从而影响对抗鲁棒性、对抗传递性和知识一致性，同时提供了新的理解 DNN 的视角。

    May, 2022

  • 关于 ReLU 神经网络的深度下界

    本研究使用混合整数优化、多面体理论、热带几何等技术探究神经网络单隐藏层能否学习到所有函数的普适逼近定理，为可表示函数的类提供了数学支持。同时，解决了 Wang 和 Sun (2005) 关于分段线性函数的一项猜想，并提出了表示具有对数深度函数所需神经网络的上限。

    May, 2021

  • 深度神经网络线性区域的界定和计数

    本篇研究探讨使用深度神经网络表示分段线性函数时的复杂度，特别是研究 DNN 可以达到的线性区域数量，包括具有一维输入精确的视线整流器网络的最大线性区域数的更紧密的上下界，多层 Maxout 网络的第一个上界以及通过将 DNN 建模为混合整数线性公式来执行精确枚举或计数的第一个方法。结果表明，如果每个神经元的数量大于输入的维数，则使用深视网根网络只能具有比每个具有相同神经元数量的浅对应网络更多的线性区域。

    Nov, 2017

  • 关于 ReLU 网络的样本复杂度的大小无关性研究

    本文研究了从推广的角度学习 ReLU 神经网络的样本复杂性，并结合权重矩阵上的范数限制，给出了与网络规模无关的上界，其中 Frobenius norms 为主要研究方向。

    Jun, 2023

  • ReLU 神经网络的拓扑表现力

    通过拓扑学的角度研究了 ReLU 神经网络在二分类问题中的表达能力。研究结果揭示，深层 ReLU 神经网络在拓扑简化方面远比浅层网络强大，这从数学上解释了为何深层网络更适用于处理复杂和拓扑丰富的数据集。

    Oct, 2023

  • 深度整流网络线性区域的经验界限

    通过使用基于概率推断和特征的经验阈值来近似神经网络的线性区域数量，提供了一种可快速获得深度神经网络线性区域数量之近似值的方法。

    Oct, 2018

  • ReLU 网络训练的多项式时间解决方案：基于最大割和 zonotopes 的复杂性分类

    研究了带有权重衰减正则化的两层 ReLU 神经网络的训练复杂性，证明了近似 ReLU 网络的困难程度不仅与 Max-Cut 问题的复杂性相对应，而且在某些特殊情况下确切对应。具有多项式时间近似保证和近似困难性结果，以及对三种不同类型训练数据集的多项式时间近似分类。

    Nov, 2023