本文分析局部插值方案,包括几何单纯插值算法和单一加权 k 近邻算法,在分类和回归问题中证明了这些方案的一致性或近一致性,并提出了一种解释对抗性示例的方法,同时讨论了与核机器和随机森林的一些联系。
Jun, 2018
探讨了深度学习中简单梯度方法在寻找接近最优解的非凸优化问题上的出人意料的成功,以及其之所以具有超预期的表现,推断是因为过度参数化可以让梯度方法寻找插值解,这些方法隐含地施加正则化,并且过度参数化导致了良性过拟合等基本原理构成了这个现象,同时摘要了最新的理论进展,重点考虑了神经网络的线性区域。
Mar, 2021
本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时,仍能够实现零训练误差且具有泛化能力的机制,并阐述了过拟合和特征选择不佳对泛化能力的影响。
Mar, 2019
本研究针对高维数据集中插值不可能发生的情况,从理论和实践角度出发,反驳了插值和外推能够准确指示泛化性能的说法,并挑战了当前插值 / 外推定义在泛化性能中的有效性。
Oct, 2021
介绍一种新的途径,通过深度神经网络的正确性估计和收敛程度来给出在没有神经网络结构假设的情况下的误差估计。
Jun, 2023
深度学习在理论和实践之间存在理论实践差距,最近的研究关注了过拟合现象及其影响因素,提出了插值信息准则来研究过参数化模型的性能和泛化能力。
Nov, 2023
本文研究通过参数化模型类进行数据插值的现象与深度学习中使用数量远高于方程数的参数进行拟合训练的关系,证明了平滑插值需要的参数数量是简单插值的 $d$ 倍, 并将结果解释为改进的模型泛化边界。
May, 2021
对深度学习的广义化现象、超参数化模型、非可识别性以及归纳偏见进行研究,并针对语言模型相关的广义化度量、可迁移性和归纳偏见提出了有前景的研究方向。
May, 2024
本文通过研究感知偏差的强度程度,探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素,给出了高维卷积核回归收敛界限的紧密非渐进限制,并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。
Jan, 2023
我们描述了深度学习数学分析的新领域,涉及到超参数神经网络的普适性,深度对于网络的作用,感知问题的缺失,问题优化性能的成功和架构的各个方面对学习任务的影响,并提供了现代方法的概述和详细的主要思想。