在错误设定下确定性基于核的数值积分规则的收敛分析

Sep, 2017

在错误设定下确定性基于核的数值积分规则的收敛分析

Convergence Analysis of Deterministic Kernel-Based Quadrature Rules in Misspecified Settings

Motonobu Kanagawa, Bharath K. Sriperumbudur, Kenji Fukumizu

TL;DR本文研究了基于核的求积规则在误差设置中的收敛分析，着重于 Sobolev 空间中的确定性求积。具体而言，我们处理了测试积分不够光滑的错误设置，并在求积规则上提供基于两种不同假设的收敛保证：一种是基于求积权重的假设，另一种是基于设计点的假设。同时，我们还发现了一种设计点的条件，使贝叶斯积分法对误差设置具有鲁棒性，并在这种条件下，它可以自适应地实现更低阶 Sobolev 空间的最佳收敛率。

Abstract

This paper presents a convergence analysis of kernel-based quadrature rules in misspecified settings, focusing on deterministic quadrature in Sobolev spaces. In particular, we deal with misspecified settings wher

kernel-based quadrature convergence analysis sobolev spaces bayesian quadrature misspecification

发现论文，激发创造

核积分规则在错误规格设置中的收敛保证

本文探讨了一种基于核的数值积分方法，向黑匣子函数提供单一的代替方法，同时证明该方法的有效性不受核空间假设的影响，只要函数的光滑度可以通过 RKHS 或 Sobolev 空间的幂次表示甚至在光滑度假设不成立的情况下也具有收敛性。

May, 2016

核求积的采样问题

本研究提出一种自适应调节和序贯蒙特卡罗方法来确定最优采样分布以提高基于核函数的数值积分的收敛速度和准确性，并取得了 4 个量级的误差减小。

Jun, 2017

核向量积分规则与随机特征展开的等价性

通过一个特定的分解，我们将用于计算积分的基于核的求积法则视为正定核的随机特征扩展的一种特例。我们提供了理论分析，给出了给定逼近误差所需样本数的上下界，特别地，我们展示了上界可以从一种特定的非一致分布中独立同分布地获得，而下界对于任何一组点都是有效的。

Feb, 2015

非正则化在线学习算法的收敛性

本文研究了无正则化的 RKHS 在线梯度下降算法的收敛性和收敛速率条件，探讨了平均迭代和最后一次迭代的过度泛化误差和收敛速率，首次提出了无强凸性的 online gradient descent 的高概率收敛速率。

Aug, 2017

关于高斯过程积分和西格玛点方法之间的关系

本文讨论了基于高斯过程回归方法的数值积分方法 —— 高斯过程积分和高斯 - 赫米特积分以及与非线性滤波和平滑算法中使用的 sigma 点方法之间的等价性，并比较不同 sigma 点位置选取的不同标准和在数值实验中的性能。

Apr, 2015

条件贝叶斯求积

我们提出了一种新的方法，用于估计昂贵的样本或积分估计的条件或参数期望。通过概率数值方法的框架（如贝叶斯求和），我们的新方法允许结合关于积分和条件期望的先验平滑性知识从而提供一种量化不确定性的方式，并在贝叶斯敏感性分析、计算金融和不确定性决策等具有挑战性的任务中在理论上和实证上得到了快速收敛率的确认。

Jun, 2024

基于核方法的 Monte Carlo 与 Gibbs 测度：概率采样的保证

核心聚类属于一族确定性定积分方法之一，旨在通过最小化再生核希尔伯特空间（RKHS）上的最坏情况积分误差来实现。本文研究了一种关于定积分节点的联合概率分布，其支撑集趋向于最小化与核心聚类相同的最坏情况误差。我们证明其在最坏情况积分误差的集中不等式方面优于独立同分布的蒙特卡洛方法。虽然尚未改进速率，但这表明吉布斯测度研究的数学工具有助于理解核心聚类及其变体在计算便宜方法上的改进程度。此外，我们提供了早期的实验证据，表明收敛速度更快（虽然不是最坏情况），这很可能实现。

Feb, 2024

随机串行二次优化的迭代和乘子的几乎必然收敛

在这篇论文中，我们证明了一种基于随机梯度算法的随机 SQP 方法在原始迭代、拉格朗日乘子和稳定性测量方面具有几乎肯定的收敛性，通过使用算法运行期间计算的拉格朗日乘子的运行平均值来消除最新随机梯度估计的误差。我们还通过数值实验验证了理论保证的有效性。

Aug, 2023

最优加权聚群是贝叶斯积分

本文研究了采样方法和贝叶斯积分估计在选取样本时的损失函数关系，进而证明了带权的 kernel herding 是所有带权采样方法中最优的方法，同时也得出了贝叶斯积分估计的经验误差上界。

Aug, 2014

随机系统的鲁棒性灵敏度分析

该研究探讨了一种最坏情况的方法来衡量随机系统性能分析中的模型误差敏感性，通过 Kullback-Leibler（KL）散度度量模型误差，并通过优化计算程序来计算最坏情况性能指标，通过创新的微小近似方法，得出了这些程序的最优值渐近展开式，展开式系数可以通过模拟计算，并从最坏情况模型的表示中派生而来，这些表示作为函数不动点方程组的定义。

Mar, 2013