本文中，我们通过统一的性能曲线，协调了传统理解与现代实践，它包含了传统的U形偏差-方差权衡曲线，这个被称为“双下降”曲线的统计证据，证明了其存在于各种模型和数据集中，并推断了其出现机制。通过机器学习模型性能与结构之间的联系，勾勒出了传统分析的局限性，对机器学习的理论和实践都有重要意义。

Dec, 2018

在高参数化线性回归领域中，出现了一个令人惊讶的现象，即当样本数少于特征维数时，测试误差会随着样本增加而增加，即更多的数据反而会伤害估计器。该现象是近期理论研究分析线性模型中“双下降”现象的一部分。在本文中，我们以线性回归为预测模型，通过对具有各向同性高斯协方差矩阵的数据集进行分析，对该现象进行了总结和阐述。

Dec, 2019

通过对方差进行可解释的对称分解，探讨了深度学习算法的偏差与方差之间的关系，发现随着网络宽度的增加，偏差单调下降，但方差存在非单调行为，并可以通过集成学习消除互作用导致的方差发散。

Nov, 2020

本研究探讨了现代机器学习模型中广泛存在的过度拟合现象及理论预测，表明超学习风险会在满足一定条件的情况下逐渐减小，并且在两层神经网络中使用ReLU激活函数的情况下具有近最小化学习率的能力。同时，还发现当网络参数数量超过O(n^2)时，超学习风险开始增加，这与最近的实证结果相符。

Jun, 2021

本文概述了“过参数化机器学习”的新理论，通过统计信号处理的角度解释最近研究发现的相应现象和结果，着重强调了这个研究领域的独特性和开放的问题。

Sep, 2021

本篇论文提出了一个回归模型的理论，在训练数据中具有比数据点更多的参数，这种模型被称为过度参数化模型，有能力插值训练数据，最好的模型是过度参数化的，与模型阶数呈双峰形。我们分析了最小二乘问题的最小化的解的内插模型，以及使用岭回归进行模型拟合的情况。同时也提出了一个基于回归矩阵最小奇异值行为的结果，可以解释测试误差随模型阶数的峰值位置和双峰形状。

Apr, 2023

在机器学习模型中，对小众群体的收入水平等指标的预测偏低通常源于样本量过小导致的系统性和方向性统计偏差。

Jul, 2023

传统统计学智慧揭示了模型复杂度和预测误差之间的关系，但最近的研究提出了双峰现象的理论，即在参数个数超过样本大小时，测试误差会出现第二次下降。本研究挑战了此理论，并通过对经典统计机器学习方法的细致研究，提出了双峰现象的解释，认为其位置与插值阈值无直接关联，并且通过采用非参数统计学的视角，证明其曲线实际上符合传统的凸形状，解决了双峰现象和统计直觉之间的矛盾。

Oct, 2023

本研究解决了数据科学中使用潜在噪声样本预测未知函数值的核心问题。提出的广义别名分解新方法揭示了复杂模型的渐近小误差是由于在过参数化状态下进行的系统“去别名”。研究表明，在训练点数据较少的情况下，极大模型的可逆性失败导致的渐近总误差的明确计算，能够在收集数据前为实验设计和模型选择提供指导。

Aug, 2024

本研究解决了现代机器学习领域模型复杂性理解不足的问题。通过重新解释并扩展经典的（有效）自由度概念，提出了一种新的随机自变量预测误差度量方法，从而更好地说明过参数化模型在复杂性与泛化能力之间的关系。研究表明，在适当条件下，复杂模型即使能插值训练数据，仍能实现良好的泛化表现。

Oct, 2024