核方法在算子学习中有竞争力
该研究提出了一种基于 Koopman 算子理论的新型重现核希尔伯特空间 (RKHS),称为 Koopman Kernel Regression (KKR),可以提高预测的准确性和泛化能力,对于以 Koopman 为基础的预测器,最新的统计学习方法存在限制,所以提供比现有研究更为详尽的证明和更宽松的假设。
May, 2023
本文采用数据自适应 RKHS Tikhonov 正则化方法,提出基于可识别性函数空间的非局部算子核学习的收敛估计器,成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型,并在健壮性,泛化性和准确性方面优于基线方法。
May, 2022
该论文介绍了一种名为内核神经算子(Kernel Neural Operator,KNO)的新型算子学习技术,它结合了深度基于内核的积分算子与求积方法,用于函数空间下运算符的逼近。 KNO 使用参数化的、闭式的、有限平滑的、紧支持的内核,并在积分算子中使用可训练的稀疏性参数,从而相对于现有的神经算子学习技术大大减少了必须学习的参数数量。 此外,使用求积方法进行数值积分赋予 KNO 几何上的灵活性,使其能够在不规则几何体上进行算子学习。 数值结果表明,在现有基准测试中,KNO 的训练和测试准确性高于流行的算子学习技术,同时使用的可训练参数数量至少少一个数量级。 因此,KNO 代表了一种低内存、几何灵活、深度算子学习的新范式,同时保留了科学计算和机器学习中传统内核方法的实现简易性和透明度。
Jun, 2024
本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归,扩展了基于核的学习的概念和性质,包括估计函数值函数的算法,阐述了一套严格定义的无限维算子值核,以及非线性函数数据分析的学习算法,并通过语音和音频信号处理实验进行了说明。
Oct, 2015
通过对机器学习理念在函数巴拿赫空间之间进行映射的(通常是非线性)算子的应用,可以构建近似算子,这些算子通常源于用偏微分方程(PDEs)表达的物理模型。近似算子在许多查询任务中具有巨大的潜力,作为传统数值方法的高效代理模型。由于数据驱动,当无法提供基于 PDE 的数学描述时,它们还可以进行模型发现。本综述主要关注神经算子,其构建基于深度神经网络在有限维欧几里得空间定义的函数的逼近方面的成功。从经验上看,神经算子在各种应用中都显示出了成功,但我们对其理论的理解仍然不完整。本综述文章总结了近期进展和我们对神经算子理论方面的当前认识,着重从逼近理论的角度来看。
Feb, 2024
通过基于随机投影导出的特征近似核函数,提出了有效地克服核方法计算复杂度的方法,并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能,同时克服了模型调节的困难。
Nov, 2014
通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性,以及将其应用于广义函数线性模型的函数回归,本研究探讨了将功能性数据(如时间序列和图像)整合到神经网络中学习函数空间到 R 的映射(即泛函)的方法。同时,通过在再生核希尔伯特空间中建立内插正交投影,提出的网络简化了现有的功能学习工作,使用点评估替代基函数展开。
Mar, 2024
在某种随机梯度下降初始化的情况下,神经网络可被再现核希尔伯特空间方法良好逼近用于某些分类任务。在特殊情况下,通过学习最佳低维表示,神经网络可胜过再现核希尔伯特空间方法,证明了神经网络比再现核希尔伯特空间方法更适合维度严重受限的特殊分类任务。
Jun, 2020