基于行列式点过程的批量高斯过程贝叶斯优化

NIPSNov, 2016

基于行列式点过程的批量高斯过程贝叶斯优化

Batched Gaussian Process Bandit Optimization via Determinantal Point Processes

Tarun Kathuria, Amit Deshpande, Pushmeet Kohli

TL;DR提出了一种使用决策点过程 (DPPs) 对批处理进行建模的新方法，使得机器学习中的贝叶斯优化，特别是处理超参数时具有更好的表现。在合成和真实的机器人和超参数优化任务上的实验表明，基于 DPP 采样的方法优于现有技术。

Abstract

gaussian process bandit optimization has emerged as a powerful tool for optimizing noisy black box functions. One example in machine learning is hyper-parameter optimization where each evaluation of the target fu

bayesian optimization gaussian process bandit optimization hyper-parameter optimization parallel processing determinantal point processes

发现论文，激发创造

利用行列式点过程进行批量主动学习

本文提出了一种使用确定性点过程的新的原则性批处理主动学习方法，以生成样本的多样性批次。我们还开发了可行的算法来近似 DPP 分布的模式，并提供了理论保证。我们在几个数据集上的实验表明了我们这种方法的价值。

Jun, 2019

小批量差异化的行列式点过程

本文提出了一种基于 Determinantal Point Process（DPP）的新型非均匀采样方案，用于在 mini-batch SGD 优化中实现数据的多样性和平衡，成为了 Diversified Mini-Batch SGD (DM-SGD)。实验结果表明，该方法在无监督和监督学习中均能产生更具解释性和多样性的特征，并提高分类准确性。

May, 2017

高斯过程赌博优化中的勘探 - 开发权衡并行化

该论文研究了如何在贝叶斯全局优化中利用并行算法解决多臂赌博问题，提出了基于高斯过程的 GP-BUCB 算法，证明了与串行方法相比，该算法的累积遗憾仅增加一个独立于批量的常数因子，并在两个真实世界应用中展示了其有效性。

Jun, 2012

大边界行列式点过程

本文探讨了如何通过重新参数化核矩阵，并提出了一种新的基于大间隔分离原则的参数估计技术来学习标记训练数据的 DPP 的参数（核矩阵），以及在文档和视频摘要的挑战性应用中使用我们提出的方法进行建模。

Nov, 2014

学习确定性点过程核的参数

该研究使用贝叶斯方法学习确定性点过程的内核参数，解决了非凸似然函数的难题，应用于神经病理学和图像多样性的研究中。

Feb, 2014

批次贝叶斯优化：局部惩罚方法

研究了基于 Lipschitz 常数的启发式算法，以提高 Bayesian 优化中参数空间的并行探索能力，并在计算量昂贵的实验中取得了显著的加速效果。