Oct, 2017

重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为

PDF
TL;DR本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据、学习算法波动和转变的一种新的定性描述。
deep neural networksgeneralization propertiesmachine learningstatistical mechanicsoverfitting
发现论文，激发创造
  • 多任务深度神经分类器中的泛化问题：基于统计物理学的方法

    本论文通过应用无序系统的统计物理学技术，对解决使用 softmax 输出和交叉熵损失的分类任务的深度神经网络的推广进行非线性动力学的分析，以理论上支持多任务学习表现由任务的噪声性以及输入特征对其的对齐程度来决定的直觉。

    Oct, 2019

  • 重新思考泛化对于了解深度学习至关重要

    该研究通过系统实验和理论构建发现，传统方法很难解释为什么大型神经网络的泛化性能良好，即使加入正则化仍然不会改变随机标记训练数据的状态，因为只要参数数量超过数据点数量，简单的两层神经网络就能实现完美的有限样本表达能力。

    Nov, 2016

  • 深度网络中的动力学和泛化理论 III

    本研究通过分析深度神经网络的梯度下降技术实现，提出了控制网络复杂度的隐含规范化方法，并将其归纳为梯度下降算法的内在偏差，说明这种方法可以解决深度学习中过拟合的问题。

    Mar, 2019

  • 深度学习的统计理论综述：逼近、训练动态和生成模型调查

    这篇文章介绍了关于神经网络的统计理论，从三个角度进行了综述：非参数回归或分类中关于神经网络过度风险的结果，神经网络的训练动力学以及生成模型中的最新理论进展。

    Jan, 2024

  • 神经网络训练的最小作用量原理

    通过将神经网络视为一种随时间推移的动力系统，我们发现网络的输运映射中存在低动能位移偏差，并将其与泛化性能相关联，从而提出了一种新的学习算法，该算法可自动适应给定任务的复杂度，并在低数据情况下产生具有高泛化能力的网络。

    Sep, 2020

  • 深度线性网络中泛化动态和迁移学习的分析理论

    研究了在深度学习中的泛化难题，发展了一个解决泛化问题的解析理论，并探讨了多任务学习和跨任务学习的知识迁移方法。

    Sep, 2018

  • 深度学习中的泛化探讨

    研究深度网络通用性的驱动因素，在考虑到规范基础控制、锐度和鲁棒性等因素后，发现尺度归一化对于通用性至关重要，并建立锐度与 PAC-Bayes 理论之间的联系，进一步探究这些措施如何解释已观察到的现象。

    Jun, 2017

  • 简化模型泛化中的可解释性错觉

    通过使用简化模型表示来研究深度学习系统的常见方法存在假设，即简化表示的结果忠实于原始模型。然而，该研究发现即使简化表示在训练集上可以准确近似全模型，它们也可能在分布之外无法准确捕获模型的行为，这导致了理解上的幻觉。通过使用控制数据集和模型简化工具，研究发现简化表示通常在分布之外具有较低的忠实度，并且存在一些情况简化版本可能失败或更好地进行泛化。这些结果提出了使用奇异值分解等工具进行机械解释时准确预测模型在新情况下行为的可靠性的问题。

    Dec, 2023

  • 小型算法数据集上的过度拟合通用化

    本文主要研究小规模算法生成数据集上神经网络的泛化能力，探讨数据效率、泛化、学习速度等问题，并阐述了小数据集规模下泛化效果提高的过程、超拟合点后仍可能的泛化提升，以及小数据集可能促进过参数神经网络的泛化能力研究。

    Jan, 2022

  • 计算具有非平凡泛化界的深度（随机）神经网络，其参数数量远多于训练数据

    通过优化 PAC-Bayes 边界，我们能够计算深度随机神经网络分类器的数量较小、训练示例数量唯有数万个的保真度上限，并将我们的发现与近期以及早期的扁平最小值和基于 MDL 的泛化解释联系起来。

    Mar, 2017