消失的决策边界复杂度与强第一组件
通过计算决策边界上的精确点,并提供数学工具来研究定义决策边界的表面,本文旨在确认一些对决策边界的猜测是准确的,某些计算方法可以得到改进,而一些简化假设可能是不可靠的,特别是涉及到非线性激活函数的模型。最后,本文提出了计算实践的改进方法,并揭示了计算决策边界上最接近点的弱点,以此来提高模型对抗攻击的鲁棒性。
Aug, 2019
本研究提出了一种基于卷积神经网络的通用结构,研究了不同超参数下网络表现,探究了深度网络规则性和本地特征的分离和收缩特性,并展示了在 CIFAR10 和 CIFAR100 上高精度的实现。
Mar, 2017
本研究提议使用决策边界复杂度(DBC)评估深度神经网络 (DNN) 的泛化能力,并使用 DBC 计分系统定义和测量 DNN 决策边界的复杂性。DBC 评分可以提供一个定量的泛化评估方法,并证明了使用更简单的决策边界对模型泛化能力表现更好的假设。
Sep, 2020
通过研究深度神经网络在图像分类和学习方面的成功,我们开发了方法和公式来研究模型中的特征空间,以此去理解决策边界在特征空间和像素空间中的几何构成和所带来的影响,进一步探讨其对对抗性漏洞、图像变形、外推,模糊分类以及数学上的理解等方面的启示。
Feb, 2022
本文提出了一种 Deep Decision boundary Instance Generation(DeepDIG)的方法,在决策边界附近通过生成样本来深入理解深度神经网络的工作机制和决策行为多方面特征。在多个数据集上进行了实验和测试。
Dec, 2019
本文提出利用区分维度约简的二维可视化方法将深度神经网络决策函数的一部分以及数据集的一部分可视化,从而检测模型对数据的不同属性(如异常值、对抗样本或毒瘤数据)的处理方式,该方法与现有文献中的解释方法互补,更有应用前景。
Sep, 2019
本文研究了深度神经网络在输入空间中的几何属性,通过系统实证研究发现,深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的,同时该文进一步证明了深度神经网络曲率决策边界的本质联系,最终提出了一种基于决策边界曲率的小型对抗样本检测方法。
May, 2017
探讨了神经网络决策边界和决策区域可视化的方法,并使用这些可视化方法研究神经网络训练中的可重复性和泛化问题。观察到模型体系结构(及其相关归纳偏差)的改变导致决策边界可见的变化,但同一体系结构下的多次运行产生的结果非常相似,特别是在宽体系结构的情况下。此外,利用决策边界方法可以可视化双重下降现象,并发现决策边界的可重复性强烈依赖于模型宽度。越接近插值阈值,神经网络的决策边界就会分解成许多小的决策区域,并且这些区域是不可重复的。同时,非常狭窄和非常宽的网络在其决策边界上具有较高的可重复性,并且只有相对较少的决策区域。讨论了观察结果与凸模型双重下降现象理论的关系。
Mar, 2022