本研究提议使用决策边界复杂度（DBC）评估深度神经网络 (DNN) 的泛化能力，并使用 DBC 计分系统定义和测量 DNN 决策边界的复杂性。DBC 评分可以提供一个定量的泛化评估方法，并证明了使用更简单的决策边界对模型泛化能力表现更好的假设。

Sep, 2020

深度学习神经网络中决策边界的演变及其对抗训练的影响等领域的问题研究。

Feb, 2020

通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

Nov, 2020

通过计算决策边界上的精确点，并提供数学工具来研究定义决策边界的表面，本文旨在确认一些对决策边界的猜测是准确的，某些计算方法可以得到改进，而一些简化假设可能是不可靠的，特别是涉及到非线性激活函数的模型。最后，本文提出了计算实践的改进方法，并揭示了计算决策边界上最接近点的弱点，以此来提高模型对抗攻击的鲁棒性。

Aug, 2019

该论文介绍了一种使用近似决策边界（ADB）的新方法，通过快速识别适当的决策边界来有效且准确地比较扰动方向，进一步发展出 ADB 算法。ADB 算法仅平均需要四个查询来区分任意一对扰动方向，具有非常高的查询效率，在六个知名图像分类器的广泛实验证明了 ADBA 和 ADBA-md 优于多个最先进的黑盒攻击方法。

Jun, 2024

该文章针对深度神经网络在模型攻击方面的问题，提出了一种新的攻击方法 DeltaBound attack，该方法在 L2 范数的约束下对模型进行攻击并取得了与其他攻击方法相当甚至更好的效果。

Oct, 2022

机器学习的经典智慧认为泛化误差可以从偏差和方差两个方面进行分解，并且这两个术语之间存在一种权衡关系。然而，在本文中，我们展示了对于由深度学习为基础的分类模型集合，偏差和方差在样本级别上是一致的，其中对于正确分类的样本点，平方偏差近似等于方差。我们通过实证证据在多种深度学习模型和数据集上验证了这一现象。此外，我们从两个理论角度研究了这一现象：校准和神经坍缩。我们首先理论上证明在模型被很好地校准的假设下，我们可以观察到偏差 - 方差一致性。其次，从神经坍缩理论提供的视角出发，我们展示了偏差和方差之间的近似相关性。

Oct, 2023

深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两个层次性的泛化误差界限。KL 散度界限随着层索引的增加而收缩，而 Wasserstein 界限暗示了存在一个层作为泛化漏斗，它达到了最小的 1-Wasserstein 距离。在具有线性 DNN 的二元高斯分类设置下，推导出了两个界限的解析表达式。通过分析三个正则化 DNN 模型（Dropout，DropConnect 和高斯噪声注入）的连续层之间的强数据处理不等式（SDPI）系数，量化了相关信息度量在网络深入时的收缩情况。这使得我们的泛化界限能够捕捉与网络架构参数相关的收缩情况。将结果特化为具有有限参数空间和 Gibbs 算法的 DNNs 表明，在这些示例中，更深而较窄的网络架构具有更好的泛化能力，尽管这个观点的广泛适用性仍然有待讨论。

Apr, 2024

采用信息理论的视角探索深度神经网络在有监督分类中的理论基础，分析了拟合误差、模型风险和泛化误差上界的相关概念及其对样本数据质量和正则化超参数设置的指导作用，研究发现过度参数化、非凸优化和平坦极小值在深度神经网络中的影响，并通过实证验证证实了理论发现与实际风险之间显著的正相关关系。

Jun, 2024

研究机器学习二分类技术的性能，使用基于基于数据驱动的决策函数（D3F）的统计测试，根据大偏差理论表明在适当的条件下，分类错误概率随着可用于测试的观测数量呈指数形式消失，并提出了两个不同的近似误差概率曲线的方法，并根据 MNIST 数据集测试了理论发现。

Jan, 2023