本文探讨了在 ReLU 神经网络中，通过随机初始化的方式初始参数，研究与之相关的非凸优化函数的几何结构，寻找全局最小点和小的最小目标价值。结果表明，相较于小型神经网络，大型神经网络更容易满足这些性质。

Nov, 2015

提出了一种使用独立性约束和数据流形对机器学习模型进行优化，以发现远离分布数据和具有良好预测性能的模型的方法，并讨论了模型选择的相关问题。

Jul, 2022

本文发现欠规范是 ML 模型在实际领域应用中展现出意外糟糕行为的一个重要原因。作者使用计算机视觉、医学成像、自然语言处理、基于电子健康记录的临床风险预测以及医学遗传学的示例来证明在实践中出现的问题。因此，本文的结果表明需要在任何领域中的建模管道中显式地考虑欠规范。

Nov, 2020

使用最新的理论框架，测试了大量预测视觉皮层活动的深度神经网络，并展示了多种几何特性导致通过回归测量的低神经预测误差，从而证明了仔细分解表征度量可以解释模型如何捕捉神经活动，并指导神经活动的改进模型。

Sep, 2023

最近的深度学习研究主要受制于使用基于越来越大数据集训练的大型模型。然而，对广泛数据集的需求增加引发了一些担忧。针对此问题，新的研究方向出现了，专注于创建合成数据以替代真实数据。在本研究中，我们调查了神经网络在合成数据集上训练时展示的形状偏差，作为合成数据质量的一个指标。具体而言，我们的发现有三个关键点：（1）形状偏差在不同的网络架构和监督类型之间存在差异，对其作为泛化的预测因素以及解释模型识别与人类能力差异的能力产生了怀疑。（2）仅依靠形状偏差来估计泛化是不可靠的，因为它与多样性和自然性纠缠在一起。（3）我们提出了一种将形状偏差解释为估计数据集中样本多样性的工具的新方法。我们的研究旨在阐明在深度学习中使用合成数据及其相关形状偏差的影响，解决有关泛化和数据集质量的担忧。

Nov, 2023

本研究探讨神经网络的泛化能力及其背后的原因，通过可视化方法探寻损失景观的几何形状和高维度导致的最优化问题，旨在更加直观地解释泛化现象。

Jun, 2019

通过信息论分析深度学习及神经网络，研究在训练过程中神经网络获取的信息，提出了限制权值中标签噪声信息的学习算法，并提出了样本信息度量概念，探究了神经网络在非典型、模棱两可或属于代表性较弱群体的情况下的行为，导出了非平凡的泛化表现界限，并通过知识蒸馏研究，证明了数据和标签复杂度在泛化中的重要作用。该论文深入研究了神经网络的泛化机制，有益于更深层次地理解此领域的相关知识。

Jun, 2023

该文章提出了一种新的深度学习目标公式，在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力，同时介绍了一种基于几何感知的深度转换技术，从而实现了非线性、具有鲁棒性的特征转换，该方法在合成和真实数据方面表现良好，并支持所提出的框架使用 (K,ε)- 鲁棒性分析。

Sep, 2015

深度神经网络在分布变化下的泛化能力与特征污染、归纳偏差等因素相关，并非仅仅是偶然性相关。

Jun, 2024

本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。

Oct, 2017