Jun, 2023
利用速率函数理解插值范围内的泛化
Understanding Generalization in the Interpolation Regime using the Rate Function
Andrés R. Masegosa, Luis A. Ortega
TL;DR本文提出了一种基于大偏差理论的模型平滑性的新颖描述方法，通过这种平滑性描述方法，阐述了为什么某些插值器能够表现出良好的泛化能力的统一理论解释，以及为什么一系列现代学习技术（如随机梯度下降，$L_2$- 范数正则化，数据增强，不变性结构和过度参数化）都能够发现这些插值器。这些方法提供了互补的程序，使优化器能够偏向更加平滑的插值器，而在这种理论分析下，这些插值器具有更好的泛化误差。