Feb, 2023

深度神经网络是否能避免双重下降现象?

TL;DR在深度学习模型中,找到最佳大小对于节能取得高广泛影响。 通过恰当的条件,可能避免双下降现象,其中模型大小增长时性能会先变差然后变好,以维持高泛化的效果需要充分过参数化的模型,但添加太多参数会浪费培训资源。在复杂情况下,正则化已经对避免双下降产生了积极作用。