CVPRMar, 2022

神经网络是否可以学习相同模型两次？从决策边界角度探讨可复现性和双重下降现象

PDF
TL;DR探讨了神经网络决策边界和决策区域可视化的方法，并使用这些可视化方法研究神经网络训练中的可重复性和泛化问题。观察到模型体系结构（及其相关归纳偏差）的改变导致决策边界可见的变化，但同一体系结构下的多次运行产生的结果非常相似，特别是在宽体系结构的情况下。此外，利用决策边界方法可以可视化双重下降现象，并发现决策边界的可重复性强烈依赖于模型宽度。越接近插值阈值，神经网络的决策边界就会分解成许多小的决策区域，并且这些区域是不可重复的。同时，非常狭窄和非常宽的网络在其决策边界上具有较高的可重复性，并且只有相对较少的决策区域。讨论了观察结果与凸模型双重下降现象理论的关系。
发现论文，激发创造
  • 探究已训练神经网络的决策边界

    通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

    Aug, 2019

  • 深度神经网络的决策边界

    通过实验证明，神经网络的最后一个权重层收敛于最后一个隐藏层的线性 SVM，整个神经网络的训练会获得更好的偏移常量，从而有助于理解深度学习并解决实际问题。

    Aug, 2018

  • 深度神经网络的决策边界研究：实证研究

    深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

    Feb, 2020

  • DeepView: 使用判别性降维将深度神经网络分类边界可视化为散点图

    本文提出利用区分维度约简的二维可视化方法将深度神经网络决策函数的一部分以及数据集的一部分可视化，从而检测模型对数据的不同属性（如异常值、对抗样本或毒瘤数据）的处理方式，该方法与现有文献中的解释方法互补，更有应用前景。

    Sep, 2019

  • 消失的决策边界复杂度与强第一组件

    通过研究神经网络的决策边界，发现深度学习模型的边界相对简单，但通过先前模型的决策边界可以研究最终模型的泛化能力，此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。

    Nov, 2022

  • 失配问题的双重下降：一种与任务、数据和模型无关的现象

    本文研究了两个具有相同架构、使用相同算法和数据集训练的神经网络，发现在训练数据上，它们的输出差异表现出 “双峰现象”。通过广泛实验跨越各种任务、数据集和网络架构，我们证明了这种现象的普遍性。利用这种现象，我们提出了一种新的早期停止准则并开发了一种新的数据质量评估方法。我们的结果表明，基于现象的方法可以在理论理解和实际应用方面有益于深度学习研究。

    May, 2023

  • 深度神经网络的决策边界特征化

    本文提出了一种 Deep Decision boundary Instance Generation（DeepDIG）的方法，在决策边界附近通过生成样本来深入理解深度神经网络的工作机制和决策行为多方面特征。在多个数据集上进行了实验和测试。

    Dec, 2019

  • 利用深度神经网络构建常规决策边界

    本研究提出了一种基于卷积神经网络的通用结构，研究了不同超参数下网络表现，探究了深度网络规则性和本地特征的分离和收缩特性，并展示了在 CIFAR10 和 CIFAR100 上高精度的实现。

    Mar, 2017

  • 基于决策边界复杂性的深度神经网络可泛化性分析

    本研究提议使用决策边界复杂度（DBC）评估深度神经网络 (DNN) 的泛化能力，并使用 DBC 计分系统定义和测量 DNN 决策边界的复杂性。DBC 评分可以提供一个定量的泛化评估方法，并证明了使用更简单的决策边界对模型泛化能力表现更好的假设。

    Sep, 2020

  • 再现性与几何内在维度：关于图神经网络研究的调查

    机器学习研究中的复制和再现困难已成为近年来一个突出的话题，本研究通过介绍一个机器学习再现性本体论并将其应用于图神经网络方法，评估了研究出版物在支持再现性不同方面的程度，同时探讨了维数灾难这一机器学习中的另一个关键挑战，即数据收集、表示和分析方面的挑战，以及数据集的几何固有维度对机器学习模型的影响程度。

    Mar, 2024