BriefGPT.xyz
Mar, 2020
最优正则化可以缓解双峰下降现象
Optimal Regularization Can Mitigate Double Descent
HTML
PDF
Preetum Nakkiran, Prayaag Venkat, Sham Kakade, Tengyu Ma
TL;DR
本文研究是否可以通过使用优化正则化方法避免双重下降现象。理论上,我们证明了对于某些线性回归模型,通过正则化可以实现测试性能的单调性增长,我们还通过实验证明了优化的正则化方法可以缓解双重下降现象。
Abstract
Recent empirical and theoretical studies have shown that many learning algorithms -- from
linear regression
to
neural networks
-- can have
test p
→