本研究考虑了拟合估计器模型选择问题，其中模型参数的数量超过数据集的大小。研究者们通过建立双重欠定参数模型来解决了模型选择问题，提出了一种新的统计量，称为插值信息准则（Interpolating Information Criterion）。这个统计量不仅可以衡量模型拟合的质量，而且还可以自然地纳入先验选择问题。

Jul, 2023

本文分析局部插值方案，包括几何单纯插值算法和单一加权 k 近邻算法，在分类和回归问题中证明了这些方案的一致性或近一致性，并提出了一种解释对抗性示例的方法，同时讨论了与核机器和随机森林的一些联系。

Jun, 2018

本文通过研究感知偏差的强度程度，探讨了过度拟合噪声现象所谓 “良性过度拟合” 或 “无害插值” 时的影响因素，给出了高维卷积核回归收敛界限的紧密非渐进限制，并提供了旋转不变性差异的不同滤波器尺寸深度神经网络的经验证据。

Jan, 2023

本文阐述了深度学习和机器学习等领域中，数学理论在实践中的不足和理论难题。作者尝试从揭示深度学习基础的角度探究插值和超参数化的作用，以期近一步走向深度学习和机器学习的普适理论。

May, 2021

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用 ReLU 激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过 O (n^2) 时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

本研究探讨了深度神经网络在训练数据含有噪声且参数个数超过数据点个数时，仍能够实现零训练误差且具有泛化能力的机制，并阐述了过拟合和特征选择不佳对泛化能力的影响。

Mar, 2019

该论文提出了一种基于优化器信息准则 (OIC) 的偏差修正方法，直接近似一阶偏差，不需要解决任何额外的优化问题。该方法可以用于决策选择，适用于各种数据驱动优化方案，并在合成和真实数据集上进行了数值验证，表现卓越。

Jun, 2023

通过 Interpolation Consistency Training 的算法来对半监督学习场景下的深度神经网络进行训练，该算法促进了标记分布的一致性并在高可信度值下减少过度拟合。

Mar, 2019

该论文研究了神经网络等插值方法是否能够在存在噪声的情况下，拟合训练数据而不会表现出灾难性的测试性能，尝试通过 “良性过拟合” 和 “温和过拟合” 两个现象进行解释，并首次系统研究了 “温和过拟合” 的性质及在核（岭）回归中的表现，以及在深度神经网络中的实验结果。

Jul, 2022

在这项工作中，我们使用 PAC-Bayes 理论获得了关于集合值预测器的覆盖率和效率的泛化界限，可以直接优化以最大化效率，同时满足所需的测试覆盖率，并利用这些理论结果提供了一种利用校准数据对模型和评分函数的参数进行微调，并确保所得预测集的测试覆盖率和效率的实际算法。

Dec, 2023