神经网络模型的 Barron 空间和流诱导函数空间
该研究讨论了基于图的卷积神经网络(GCNN)在 Barron 函数空间中的应用,证明了该空间是一个再生核 Banach 空间,可以通过 GCNN 的输出来有效逼近。同时估计了有界 Barron 范数函数的 Rademacher 复杂度,并指出可以有效地从随机样本中学习 Barron 空间中的函数。
Nov, 2023
本文提出了适用于 ReLU 神经网络的 Banach 空间,其中包含了所有有限全连接 L 层网络及其 L^2 - 极限对象,具有低的 Rademacher 复杂性和良好的泛化特性,函数可以通过多层神经网络进行近似,收敛速率与维度无关。
Jul, 2020
本文研究深度学习理论中关于高维度下两层神经网络逼近和泛化特性的问题,引入 Barron 空间和谱 Barron 空间来探究函数的光滑度,建立了这两种空间之间的连续嵌入关系,提供了实例证明下界是紧的。
May, 2023
通过研究神经网络所定义的函数空间,我们展示了深度神经网络定义合适的再生核 Banach 空间,并且通过应用再生核 Banach 空间的理论和变分结果,得到了支持常用有限网络结构的再现定理,为更实际可行的神经网络架构提供了一步。
Mar, 2024
通过构建一类新的经过正则化操作与 $k$-plane 变换定义的 Banach 空间,并证明具有多元非线性的神经结构是这些 Banach 空间中学习问题解集的完全刻画,我们研究了一大类神经结构的变分最优性(具体而言指 Banach 空间的最优性)。这些最优的神经结构具有跳跃连接,与正交权重归一化和多索引模型紧密相关,这在神经网络领域引起了相当大的关注。此外,我们还展示了底层空间是再生核 Banach 空间和变分空间的特殊实例,并为神经网络在数据上学习的函数的正则性提供了新的理论动机,尤其是在具有多元非线性时,并提供了对实践中一些架构选择的新的理论动力。
Oct, 2023
本研究通过对学习 Fp,π 和 Barron 空间中的函数这一问题的探讨,揭示了这些空间的逼近和估计可以在某种意义上等价。这使我们能够将重点放在逼近和估计这一较容易的问题上,当研究两个模型的泛化时。此外,我们通过两个具体的应用程序全面分析了我们的二元性框架的灵活性。
May, 2023
该论文介绍了一种用于深度学习的假设空间,利用深度神经网络(DNNs),通过将 DNN 视为两个变量的函数,即物理变量和参数变量,并考虑 DNN 的原始集合,这些集合位于由 DNN 的深度和宽度确定的权重矩阵和偏差的集合,然后通过在弱 * 拓扑中完成原始 DNN 集合的线性张量构建物理变量的函数的 Banach 空间,我们证明了所构建的 Banach 空间是一个再生内核 Banach 空间(RKBS),并构建了其再生内核。我们通过建立学习模型的 representer 定理,研究了结果 RKBS 中的正则化学习和最小插值问题,representer 定理表明这些学习模型的解可以表示为给定数据和再生内核确定的有限数量的内核会话的线性组合。
Mar, 2024
我们介绍了一种通用函数回归方法,该方法可以学习在数学上可处理的非高斯函数空间上的先验分布,我们开发了神经算子流 (OpFlow) 来实现这种方法,OpFlow 是一个无限维扩展的归一化流,它将(潜在的未知)数据函数空间映射到高斯过程中,通过绘制高斯过程的后验样本并映射它们到数据函数空间,OpFlow 能够实现鲁棒且准确的不确定性量化,我们在回归和生成任务上对 OpFlow 的性能进行了实证研究,其中数据来自已知后验形式的高斯过程和非高斯过程,以及来自真实世界的地震地震图,其闭合分布未知。
Apr, 2024