深度神经网络的决策边界

Aug, 2018

On the Decision Boundary of Deep Neural Networks

Yu Li, Lizhong Ding, Xin Gao

TL;DR通过实验证明，神经网络的最后一个权重层收敛于最后一个隐藏层的线性 SVM，整个神经网络的训练会获得更好的偏移常量，从而有助于理解深度学习并解决实际问题。

Abstract

While deep learning models and techniques have achieved great empirical success, our understanding of the source of success in many aspects remains very limited. In an attempt to bridge the gap, we investigate the decision boundary of a production →

deep learning neural network svm generalization adversarial attacking

发现论文，激发创造

深度神经网络的决策边界研究：实证研究

深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

Feb, 2020

探究已训练神经网络的决策边界

通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

Aug, 2019

深度神经网络的决策边界特征化

本文提出了一种 Deep Decision boundary Instance Generation（DeepDIG）的方法，在决策边界附近通过生成样本来深入理解深度神经网络的工作机制和决策行为多方面特征。在多个数据集上进行了实验和测试。

Dec, 2019

利用深度神经网络构建常规决策边界

本研究提出了一种基于卷积神经网络的通用结构，研究了不同超参数下网络表现，探究了深度网络规则性和本地特征的分离和收缩特性，并展示了在 CIFAR10 和 CIFAR100 上高精度的实现。

Mar, 2017

深度神经网络的学习动态

研究深度神经网络的学习动态，主要关注于二元分类问题。我们证明了网络学习的各种性质，并且在非线性架构下，分类误差也呈现出 sigmoid 形状，证实了经验观察。我们指出了梯度饱和现象和特征频率对模型收敛速度的影响，并探讨了交叉熵和 hinge 损失对生成对抗网络训练的差异。最后，我们提出了梯度饥饿现象并进行了研究。

Sep, 2018

消失的决策边界复杂度与强第一组件

通过研究神经网络的决策边界，发现深度学习模型的边界相对简单，但通过先前模型的决策边界可以研究最终模型的泛化能力，此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。

Nov, 2022

深度网络中的泛化（IIIb 理论）

该论文研究了深度神经网络中过拟合的问题，证明了使用特定的损失函数时神经网络的收敛性及性能，提出了一种实用的判断不同零最小化点泛化性能的方法。

Jun, 2018

使用线性教师研究神经网络中的学习

本文证明了，通过 SGD 训练具有 Leaky ReLU 激活函数的两层神经网络，可以在全局最小化交叉熵的同时学习线性可分数据，且学习的网络具有较为简单的近似线性决策边界。同时，本文提出了一种可以发现权重聚类的优化条件，并通过实验证明了理论分析的正确性。

Jan, 2021

深度神经网络分类区域

本文研究了深度神经网络在输入空间中的几何属性，通过系统实证研究发现，深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的，同时该文进一步证明了深度神经网络曲率决策边界的本质联系，最终提出了一种基于决策边界曲率的小型对抗样本检测方法。

May, 2017

使用线性支持向量机的深度学习

本文中，我们探究了在深度学习识别任务中，用 L2-SVMs 替换 softmax 可在 MNIST、CIFAR-10 和面部表情识别等数据集上获得显著提升。

Jun, 2013