深度神经网络的决策边界特征化

Dec, 2019

Characterizing the Decision Boundary of Deep Neural Networks

Hamid Karimi, Tyler Derr, Jiliang Tang

TL;DR本文提出了一种 Deep Decision boundary Instance Generation（DeepDIG）的方法，在决策边界附近通过生成样本来深入理解深度神经网络的工作机制和决策行为多方面特征。在多个数据集上进行了实验和测试。

Abstract

deep neural networks and in particular, deep neural classifiers have become an integral part of many modern applications. Despite their practical success, we still have limited knowledge of how they work and the demand for such an understanding is evergrowing. In this regard, one cruci

deep neural networks decision boundary instance generation adversarial example multifaceted understandings

发现论文，激发创造

探究已训练神经网络的决策边界

通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

Aug, 2019

深度神经网络的决策边界研究：实证研究

深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

Feb, 2020

紧紧抱住我！辨别特征对深度网络边界的影响

通过在反向鲁棒性领域借鉴工具并提出一种新视角，本文关注了神经网络决策边界的特性，研究表明神经网络对非判别特征具有高度不变性，其决策边界必须在训练分类器中采用某些特征才能存在，并且决策边界的构建对训练样本的微小扰动极其敏感。

Feb, 2020

深度神经网络分类区域

本文研究了深度神经网络在输入空间中的几何属性，通过系统实证研究发现，深度神经网络具有连通的分类区域并且其在数据点附近的决策边界在大多数方向上是平坦的，同时该文进一步证明了深度神经网络曲率决策边界的本质联系，最终提出了一种基于决策边界曲率的小型对抗样本检测方法。

May, 2017

深度神经网络的决策边界

通过实验证明，神经网络的最后一个权重层收敛于最后一个隐藏层的线性 SVM，整个神经网络的训练会获得更好的偏移常量，从而有助于理解深度学习并解决实际问题。

Aug, 2018

基于决策边界复杂性的深度神经网络可泛化性分析

本研究提议使用决策边界复杂度（DBC）评估深度神经网络 (DNN) 的泛化能力，并使用 DBC 计分系统定义和测量 DNN 决策边界的复杂性。DBC 评分可以提供一个定量的泛化评估方法，并证明了使用更简单的决策边界对模型泛化能力表现更好的假设。

Sep, 2020

使用深度生成模型进行主动决策边界注释

使用生成模型沿着一条 1D 线创建新样本，通过请求决策边界上的标注降低了与标注数据样本的交互量，实验表明该方法可嵌入其他活动学习方案，且决策边界上的标注优于数据样本的标注。

Mar, 2017

DeepView: 使用判别性降维将深度神经网络分类边界可视化为散点图

本文提出利用区分维度约简的二维可视化方法将深度神经网络决策函数的一部分以及数据集的一部分可视化，从而检测模型对数据的不同属性（如异常值、对抗样本或毒瘤数据）的处理方式，该方法与现有文献中的解释方法互补，更有应用前景。

Sep, 2019

利用深度神经网络构建常规决策边界

本研究提出了一种基于卷积神经网络的通用结构，研究了不同超参数下网络表现，探究了深度网络规则性和本地特征的分离和收缩特性，并展示了在 CIFAR10 和 CIFAR100 上高精度的实现。

Mar, 2017

支持决策边界的对抗样本知识蒸馏

本文提出了一种新的基于决策边界的知识蒸馏方法，利用对抗攻击的方式发现支持决策边界的样本来训练学生分类器以传递更加精确的信息，实验证明该方法提高了知识蒸馏的效果并达到了最先进的性能。

May, 2018