宽随机神经网络高斯随机场逼近的斯坦方法应用
本文介绍了对高斯神经网络的一些非症态量化高斯逼近,用一些流行距离(如 $1$-Wasserstein 距离、总变分距离和 Kolmogorov-Smirnov 距离)量化逼近误差,这依赖于二阶高斯 Poincaré 不等式提供的非常紧密的逼近误差估计,有最佳的速率。这是二阶高斯 Poincaré 不等式的一项新应用,在概率文献中被认为是获得高斯随机过程一般泛函的高斯逼近的有力工具。还讨论了到深层高斯神经网络的推广。
Apr, 2023
论文阐述了位于 Wasserstein 空间的数据流形学习中的关于随机向量在 $\mathbb {R}^n$ 中的二次 Wasserstein 距离的一些已知下界,重点考虑应用于数据的仿射变换。具体而言,通过计算协方差矩阵之间的 Bures 度量,给出了关于在 $\mathbb {R}^2$ 中具有不相关分量的随机向量的旋转副本的具体下界。我们还推导了由仿射映射组成的上界,从而产生了多样的微分同胚,应用于初始数据度量。我们将这些界限应用于各种分布,包括位于 $\mathbb {R}^2$ 中的 1 维流形上的分布,并展示了界限的质量。最后,我们提出了一个可以应用于流形学习框架中的模仿手写数字或字母数据集的框架。
Oct, 2023
该研究探讨了高斯样本经验分布之间的 Wasserstein 距离的中心极限定理,提出了根据 Wasserstein 距离在高斯样本中的自由勒什特可微性进行区分的方法,并讨论了对椭圆对称分布的扩展以及引导重抽样和统计检验等若干应用。
Jul, 2015
此研究介绍了一种基于 Wasserstein 距离的方法,用于高维数问题中的 Gaussian 混合模型的优化问题,并讨论了它的性质和在图像处理中的应用。
Jul, 2019
本文研究了随机初始化的宽神经网络能否通过高斯过程来近似。我们在一个无限维函数空间中建立明确的收敛速率,说明了两种不同的情况:同时激活函数的次数和函数的平滑度会决定高斯过程的收敛速度。
Feb, 2021
本文提出了一种通用的神经网络架构来逼近对称函数,结合草图思想开发了一种能够逼近点集间 $p$-th Wasserstein 距离的特定和高效神经网络,经验结果表明该网络的性能明显优于其他模型,有望在解决各种几何优化问题中发挥作用。
Aug, 2023
本研究探索了 Wasserstein 生成对抗网络在巴拿赫空间中引入梯度惩罚后的理论扩展和一些具体选择的基础点,重点关注 Sobolev 范数,并在 CIFAR-10 和 CelebA 中展示了性能提升。
Jun, 2018
在这项研究中,我们探讨了在概率空间上定义的 Sobolev 平滑函数的数值逼近的挑战性问题。我们采用三种基于机器学习的方法,通过求解有限个最优传输问题和计算相应的 Wasserstein 潜势,使用 Wasserstein Sobolev 空间中的经验风险最小化和 Tikhonov 正则化,以及通过表征 Tikhonov 泛函的 Euler-Lagrange 方程的弱形式来解决这个问题。作为理论贡献,我们对每种解决方法的泛化误差提供了明确且定量的界限。在数值实现中,我们利用适当设计的神经网络作为基函数,经过多种方法的训练,使我们能够在训练后快速评估逼近函数。因此,我们的构造性解决方案在相同准确性下显著提高了评估速度,超过了现有方法数个数量级。
Oct, 2023
本文提出了基于 Wasserstein 距离的预期泛化误差界限,并分别介绍了全数据集、单字母和随机子集限制,以及从 Steinke 和 Zakynthinou [1] 的随机子抽样设置中的类似物。此外,当损失函数有界且选择 Wasserstein 距离中的度量时,这些界从相对熵的基础上得到了更好的下限 (因此是更紧的)。在特定情况下,这些结果可以被看作是考虑了假设空间几何和基于相关熵的界限之间的桥梁。另外,本文还介绍了如何基于这些界限产生各种新的界限,并使用类似的证明技术得出关于后向通道的类似界限。
Jan, 2021