ICMLSep, 2020

基于决策边界复杂性的深度神经网络可泛化性分析

PDF
TL;DR本研究提议使用决策边界复杂度（DBC）评估深度神经网络 (DNN) 的泛化能力，并使用 DBC 计分系统定义和测量 DNN 决策边界的复杂性。DBC 评分可以提供一个定量的泛化评估方法，并证明了使用更简单的决策边界对模型泛化能力表现更好的假设。
generalizabilitysupervised learningdnndecision boundarydbc score
发现论文，激发创造
  • 通过决策边界理解深度学习

    发现决策边界变异性较低的神经网络具有更好的泛化性能；提出了算法 DB 变异性和（ε，η）- 数据 DB 变异性对决策边界变异性进行度量，并在理论上提出了两个基于算法 DB 变异性的下界。

    Jun, 2022

  • 探究已训练神经网络的决策边界

    通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

    Aug, 2019

  • 深度神经网络的决策边界特征化

    本文提出了一种 Deep Decision boundary Instance Generation（DeepDIG）的方法，在决策边界附近通过生成样本来深入理解深度神经网络的工作机制和决策行为多方面特征。在多个数据集上进行了实验和测试。

    Dec, 2019

  • NeurIPS 2020 比赛：深度学习的泛化预测

    深度学习中的泛化是一个重要的问题，并且通过复杂度衡量的新进展有望更好地理解深度学习的机制，更好地应用于对未知数据的泛化，并提高模型的可靠性和鲁棒性。

    Dec, 2020

  • 深度神经网络的信息论泛化界

    深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

    Apr, 2024

  • 深度神经网络的决策边界研究：实证研究

    深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

    Feb, 2020

  • 深度神经网络中基于边界的泛化预测

    在这项研究中，我们分析了在不同环境下基于边界距离的泛化预测方法，并提出了一种融合基础数据流形的新的基于边界距离的度量，该度量在大多数情况下能更好地预测泛化。同时，我们对这种方法的实用性和局限性进行了分析，并发现这个度量与之前的工作的观点是吻合的。

    May, 2024

  • 基于表示的复杂度测度对深度学习的泛化能力进行预测

    从神经科学理论的角度解释深度神经网络的泛化能力，提供可自主计算的复杂度度量方法以揭示深度模型的泛化行为，并详细介绍在 NeurIPS 2020 举办的预测深度学习泛化比赛中获胜的解决方案。

    Dec, 2020

  • 寻求鲁棒的泛化测量方法

    本文讨论了深度学习中的一项科学挑战，即解释归纳泛化问题，通过关注经验性评估方法，提出了将泛化度量评估纳入分布强健性框架的看法。

    Oct, 2020

  • 消失的决策边界复杂度与强第一组件

    通过研究神经网络的决策边界，发现深度学习模型的边界相对简单，但通过先前模型的决策边界可以研究最终模型的泛化能力，此外还探讨了深度模型的第一主成分的强度、优化器的奇异性以及 ResNet 中跳跃连接的影响。

    Nov, 2022