Sep, 2023
深度神经网络的插值、逼近和可控性
Interpolation, Approximation and Controllability of Deep Neural Networks
Jingpu Cheng, Qianxiao Li, Ting Lin, Zuowei Shen
TL;DR我们通过控制理论研究将深层残差神经网络作为连续动力系统的表达能力。具体而言，我们考虑从监督学习中产生的两个特性，即通用插值 - 能够匹配任意输入和目标训练样本，以及紧密相关的通用逼近 - 能够通过流映射逼近输入 - 目标函数关系。在控制结构变换族具有仿射不变性的假设下，我们给出了通用插值的表征，证明了非线性网络结构基本上都具备这一特性。此外，我们阐明了通用插值和通用逼近在一般控制系统背景下的关系，证明了这两个特性不能从彼此推导出来。同时，我们确定了控制结构和目标函数的条件，确保了这两个概念的等价性。