算子学习与通用逼近的投影方法
本文提出了一种使用 Euclidean 空间作为基石建造弥合任意 Polish 度量空间之间连续映射的通用逼近方法,其中涉及到了离散概率、H"older-like (map) 以及深度学习 (transformer network) 等关键词。
Apr, 2023
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
本研究介绍了神经算子,它是一种学习算子的新型神经网络,能够在无限维函数空间中进行映射。我们证明了神经算子的广义逼近定理,可以逼近任何连续非线性算子。研究还提出了四类高效的参数化方法,并在偏微分方程的解算子的代理映射中应用了神经算子,结果表明相较于传统 PDE 求解器和现有的机器学习方法,神经算子具有更好的性能优势且速度更快。
Aug, 2021
在线学习设置下,研究了在两个无限维希尔伯特空间之间的线性运算符学习问题。通过证明定理,得出了具有统一有界 p-Schatten 范数的线性运算符类是可在线学习的,但具有统一有界操作符范数的线性运算符类是不可在线学习的结论。同时,通过识别出一类有界线性运算符,证明了在线统一收敛和学习性之间的差异。最后,证明了上述的不可学习性结果和统一收敛性与学习性之间的差异性在 agnostic PAC 设置下仍然成立。
Sep, 2023
通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合,我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群,使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来,我们证明了 DL 对于这个问题是最优的,没有任何恢复过程可以超越这些泛化界限。最后,我们展示了在具有挑战性的问题上的实际性能,包括参数扩散、Navier-Stokes-Brinkman 和 Boussinesq 偏微分方程组。
Jun, 2024
基于神经算子的算子学习已成为一种有前景的通过数据驱动的方法,在无限维巴拿赫空间中进行算子近似。本研究针对利普希茨连续算子的神经算子近似的参数复杂性进行了探索,从信息论的角度建立了利普希茨算子的度量熵的下界,并指出神经算子架构的大小在达到近似精度 ε 时必须是指数级的。这项研究的结果阐明了基本的权衡和限制。
Jun, 2024
使用规则随机投影将度量空间线性扩展 Lipschitz 和 $C^1$ 函数,进而更直接地证明了 Lee 和 Naor 的结果,并将 Whitney 的 $C^1$ 扩展定理推广到了 Banach 空间。
Jan, 2018
本文研究了一个迭代算法在具有约束的非单调集值算子中寻找零点的收敛性,这个算法被称为 proximal-projection 算法,收敛结果基于 Opial 引理的新概括。我们展示了 proximal-projection 算法可以被应用于求解仅具有近似数据的 ILL-POSED 变分不等式和凸优化问题。此外,我们证明了 proximal point 算法(具有 Bregman 距离)的收敛性在算子具有顺序弱闭图形时仍然存在。
Nov, 2007
利用我们在 arXiv:2109.13512v4 提出的无限维神经网络架构,该架构可以处理来自 Frechet 空间的输入,并利用其中证明的通用逼近性质,我们现在通过证明一些普适逼近定理,大大扩展了该架构的适用范围,针对广泛类别的输入和输出空间。
Jun, 2024