AAAIJan, 2024

核化归一化常数估计：连接贝叶斯求积和贝叶斯优化

PDF
TL;DR在本文中，我们研究了通过对黑盒函数进行查询来估计正规化常数∫e^{-λf (x)} dx 的问题，其中 f 属于再生核希尔伯特空间 (RKHS)，λ 是问题参数。我们发现，在估计正规化常数时，难度水平取决于 λ 的值：当 λ 趋近于零时，问题类似于贝叶斯积分 (BQ)，而当 λ 趋近于无穷大时，问题类似于贝叶斯优化 (BO)。更一般地说，问题在 BQ 和 BO 之间变化。我们发现这种模式即使在函数评估有噪声的情况下也成立，这为该主题带来了新的方面。我们的发现得到了算法无关的下界和算法上界的支持，以及在各种基准函数上进行的模拟研究。
发现论文，激发创造
  • 重尾利润下的贝叶斯优化

    本文通过对高斯过程黑盒优化中噪音模型的研究，提出了一种可用于重尾噪音的、基于核函数的 UCB 算法以及基于核函数近似的贝叶斯优化算法，解决了现有算法在重尾噪音下表现较差的问题，并在人造和真实数据集上验证了算法性能。

    Sep, 2019

  • 核平滑积分逼近

    本文研究了核密度估计在非参数回归模型中的应用，提出了一种选取带宽参数的方法，并证明了在该条件下，估计的线性函数是渐近正态的，其渐近方差不依赖于回归函数，同时探讨了函数的光滑程度等影响估计结果的因素。

    Sep, 2014

  • 在 RKHS 中对光滑函数进行多尺度零阶优化

    提出一种新算法，通过在通用高斯过程代理模型中增加本地多项式估计函数 $f$ 来构建多尺度 UCB 以指导优化器的搜索，从而在预算 $n$ 的情况下获得理论上的累积失望次数界限。

    May, 2020

  • 利用梯度和海森矩阵在贝叶斯优化和贝叶斯积分中的应用

    本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法，并将其扩展以利用来自未知函数的导数信息，通过采样推断来融合超参数的不确定性，并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明，利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。

    Mar, 2017

  • 分布稳健的贝叶斯积分优化

    本研究针对具有分布不确定性的贝叶斯积分优化问题使用分布鲁棒优化视角，提出了一种基于后验抽样的算法（DRBQO），旨在最大化最对抗分布下的预期目标，并通过贝叶斯遗憾度量其理论收敛性。我们在合成和真实世界问题中展示了我们提出的框架的实证有效性。

    Jan, 2020

  • 核积分规则在错误规格设置中的收敛保证

    本文探讨了一种基于核的数值积分方法，向黑匣子函数提供单一的代替方法，同时证明该方法的有效性不受核空间假设的影响，只要函数的光滑度可以通过 RKHS 或 Sobolev 空间的幂次表示甚至在光滑度假设不成立的情况下也具有收敛性。

    May, 2016

  • 再生核希尔伯特空间中线性泛函的实验设计

    研究最优实验设计，针对再生核希尔伯特空间（RKHS）中的线性泛函估计，提供了构建偏差感知设计的算法，并推导出在次高斯噪声下的固定和自适应设计的非渐进置信集，使得可以高概率地证明具有有界误差的估计。

    May, 2022

  • 核平均嵌入的极小极大估计

    研究了基于从 P 中独立随机抽样的应用正定核 k 的各种估计器（包括经验估计器）来最小化估计 Bochner 积分 μk（P）的理论保证。我们的主要发现是，对于一类离散分布和一类无穷可微分布，n ^ {- 1/2} 的收敛率分别是最小的，这是独立于核的平滑性和密度的（如果存在）。结果对非参数假设测试，密度估计和特征选择等统计应用具有实际意义。

    Feb, 2016

  • 核求积的采样问题

    本研究提出一种自适应调节和序贯蒙特卡罗方法来确定最优采样分布以提高基于核函数的数值积分的收敛速度和准确性，并取得了 4 个量级的误差减小。

    Jun, 2017

  • 改进受限积分的求积

    本研究提出了改进的贝叶斯框架，用于估计受限函数的仿射变换并实现四重积分，重点关注非负函数约束和以非负数与有限数为范围的函数约束，最终提出了一种在原始空间下进行超参数优化的新方法，实验结果表明我们的框架比现有的贝叶斯四重积分程序效果更好并且更快。

    Feb, 2018