Apr, 2024
大维度核插值的相图
The phase diagram of kernel interpolation in large dimensions
Haobo Zhang, Weihao Lu, Qian Lin
TL;DR对于在大维度（即 n≈d^γ，其中 γ>0）的核插值的泛化能力，可能是最近核回归复兴中最有趣的问题之一，因为它可能帮助我们理解神经网络文献中报告的 “良性过拟合现象”。我们针对球上的内积核，完全描述了各种源条件（s≥0）下大维度核插值的方差和偏差的确切阶数。因此，我们得到了大维度核插值的（s，γ）相图，即确定了核插值在（s，γ）平面上的最优、次优和不一致区域。