我们提出了一种新的方法，用于估计昂贵的样本或积分估计的条件或参数期望。通过概率数值方法的框架（如贝叶斯求和），我们的新方法允许结合关于积分和条件期望的先验平滑性知识从而提供一种量化不确定性的方式，并在贝叶斯敏感性分析、计算金融和不确定性决策等具有挑战性的任务中在理论上和实证上得到了快速收敛率的确认。

Jun, 2024

该研究提出了一种用于概率模型推断的新型采样框架：一种主动学习方法，可比马尔可夫链蒙特卡罗（MCMC）基准更快地收敛（墙钟时间）。我们提出了一种基于模型的解决方案，通过熟知非负的概率集成（似然）来实现，以实现优化样本位置的廉价主动学习方案。实验结果表明，与简单的蒙特卡洛和退火重要性采样相比，我们的算法在合成和真实世界的示例中提供了更快的收敛速度（以秒为单位）。

Nov, 2014

本文提出了一个统一的框架，能够证明广泛使用的迭代一阶优化算法的指数收敛和次指数收敛速率，并展示了该框架对梯度法、近端算法及其加速变体的实用性，同时开发了连续时间对应物，能够分析梯度流和 Nesterov 加速法的连续时间极限。

May, 2017

本文介绍了第一个能够满足严格收敛保证的概率积分器 ——Frank-Wolfe Bayesian Quadrature（FWBQ），证明了在 FWBQ 下，到达积分的真实值是指数级的，后验收缩速率被证明为超指数级。在仿真中，FWBQ 竞争性地与最先进的现有方法相比，并优于基于 Frank-Wolfe 优化的替代方法。本文的方法成功地应用于量化细胞生物学中一个具有挑战性的模型选择问题中的数值误差。

Jun, 2015

我们提出了一种用于贝叶斯反问题的降维技术，包括非线性正演算子、非高斯先验和非高斯观测噪声，我们通过一个垄线函数来近似似然函数，并最小化 KL 散度的上界来建立此垄线近似。这个上界可以通过对梯度的二阶矩矩阵的计算来获得并进行上界估计，数值和理论比较证明了方法的优点。

Jul, 2018

本篇研究提出了一种新的算法，称为 Constrained Upper Quantile Bound (CUQB)，用于解决输入为昂贵黑盒函数的组合函数（混合模型）的高效有约束全局优化问题，并表明 CUQB 在约束和无约束情况下都显著优于传统贝叶斯优化，且具有更好的理论保证。

May, 2023

本文探讨了机器学习中一种使用高斯过程对困难或昂贵评价的未知函数进行优化和集成的贝叶斯方法，并将其扩展以利用来自未知函数的导数信息，通过采样推断来融合超参数的不确定性，并且介绍了克服之前梯度增强高斯过程的 singularity 问题的技术。结果表明，利用导数信息可以在贝叶斯优化和数值积分问题中提供显着的优化性能。

Mar, 2017

本研究提出了一种基于 “积分二次约束（IQC）” 的新框架来分析和设计迭代优化算法，在优化算法中应用 IQC 理论和半定规划来验证复杂相互链接系统的稳定性，探讨了 IQC 理论在研究优化算法方面进行适应性调整的方法，通过研究凸函数得出新的不等式并给出了梯度方法、重球方法、Nesterov 加速方法、以及相关变体的收敛率的数值上界解。最后，简要介绍了如何利用这些技术来搜索具有所需性能特性的优化算法，从而确立了一种新的算法设计方法。

Aug, 2014

该研究考虑一类具有强凸目标函数和 Lipschitz 连续梯度的无约束优化问题的梯度优化算法的分析和设计，通过将问题制定为鲁棒性分析问题并利用适当的积分二次约束理论进行设计，以提高现有算法的收敛速度和鲁棒性能力，并能够利用目标函数中的附加结构。

May, 2019

该论文介绍了 Suggest-and-Improve 框架和基于 Python 的 QCQP 开源软件包，用于解决一般非凸二次约束二次规划问题，并提供了一些启发式方法。

Mar, 2017