Sep, 2023
神经网络分类器的过度风险收敛速率
On Excess Risk Convergence Rates of Neural Network Classifiers
TL;DR神经网络在模式识别和分类问题中的成功表明其具备与支持向量机（SVMs）或提升分类器等其他传统分类器不同的特性。本文研究了基于神经网络的插件分类器在二元分类设置中的性能，以其超出风险的度量为基准。相较于文献中的典型设置，我们考虑了更一般的实践场景，该场景在两个方面与实际相似：首先，要近似的函数类别包括了Barron函数作为一个合适的子集；其次，构建的神经网络分类器是一个替代损失的最小化者，因此可以轻松应用基于梯度下降的数值优化方法。我们研究了考虑的函数类别很大，最优速率不可能更快于n的负一次方，但这是一个无关维度的速率情景，可以利用神经网络的逼近能力。特别地，我们分析了神经网络的估计和逼近特性，以获得超出风险的无关维度、均匀收敛速率。最后，我们证明所获得的速率实际上是最小最大优化的，尽管存在一个对数因子；而最小最大下界则展示了这一情景中边际假设的效果。