高维数据逼近Sobolev类的维度优势
本文研究了在低维多條件上H"{o}lder函数的非参数回归问题,并使用深层ReLU网络实现,研究结果表明深层ReLU网络具有适应低维几何结构的能力,可快速收敛于数据固有维度,进而解决高维数据的低维几何结构问题。
Aug, 2019
本文以一种抽象的定理为基础,证明了解决函数逼近中避免维数噪声以及用于流形学习的样本外推的逼近度的两个问题。作者建立了一种浅层网络和深度网络的模型来证明这个定理,并给出了应用案例。
Aug, 2019
本文主要研究基于几何深度学习 (GDL) 框架的通用前馈神经网络的构建方法,用于处理非欧几里得数据,并得出了一些曲率相关的下界和上界等结论。同时,文章给出了可以保证该方法不失效的数据相关条件。
Jan, 2021
通过对优化传输具有二次正则化的对称版本的利用来构建稀疏且自适应的亲和矩阵的流形学习方法,从而检测数据嵌入的潜在流形是广泛一类下游分析的先决条件。我们证明了连续极限中产生的核函数与拉普拉斯类型算子一致,并在模拟中展示了对异方差噪声的鲁棒性,我们还确定了适用于离散数据的计算该优化传输的高效计算方案,并证明在一系列示例中它优于竞争方法。
Jul, 2023
在这项研究中,我们探讨了在概率空间上定义的Sobolev平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的Wasserstein潜势,使用Wasserstein Sobolev空间中的经验风险最小化和Tikhonov正则化,以及通过表征Tikhonov泛函的Euler-Lagrange方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
我们提出了一种新颖的技术,用于更好地控制ReLU激活的神经网络的权重,从而产生更精确的函数近似。我们通过扩展现有的基本组件,将ReLU网络编码为复杂的操作,并获得更多线性分段的输出,从而引导网络的训练过程,克服了随机初始化和无辅助梯度下降带来的缺点,提高了对不一定在流形上的函数的逼近效果。
Nov, 2023
该研究论文探讨了在重现核希尔伯特空间(RKHS)中应用的谱算法,特别关注输入特征空间的内在结构,将输入数据视为嵌入高维欧几里得空间的低维流形,使用积分算子技术导出了关于广义范数的紧密收敛上界,证明估计器在强意义下收敛于目标函数及其导数,进一步建立了渐近优化性的最小化下界,验证了谱算法在高维逼近问题中的实际重要性。
Mar, 2024
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征的中间流形区域的情况。
Jun, 2024
本研究解决了如何使用深度ReLU神经网络有效逼近Sobolev和Besov空间函数的问题,填补了现有研究的空白。我们通过新的稀疏向量编码方法,将逼近率的理论推广至$\mathcal{O}((WL)^{-2s/d})$,并证明了这一结果在Sobolev嵌入条件下的最优性。该发现对网络设计及其在功能逼近中的应用具有重要影响。
Sep, 2024