基于密度比估计及半监督学习的贝叶斯优化

May, 2023

基于密度比估计及半监督学习的贝叶斯优化

Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning

Jungtaek Kim

TL;DR本研究提出了利用半监督学习结合基于密度比估计的贝叶斯优化方法，解决在全局解候选人方面监督分类器过于自信的问题。针对 unlabeled point sampling 和 fixed-size pool 场景，对我们的方法和几种基线方法进行了实验结果展示。

Abstract

bayesian optimization has attracted huge attention from diverse research areas in science and engineering, since it is capable of finding a global optimum of an expensive-to-evaluate black-box function efficiently. In general, a →

bayesian optimization probabilistic regression model density ratio estimation supervised classifier semi-supervised learning

发现论文，激发创造

BORE: 基于密度比率估计的贝叶斯优化

将 expected improvement 的计算转化为二分类问题，以避免分析可观测性和提高 Bayesian optimization 的效率和适用性。

Feb, 2021

训练神经网络进行似然 / 密度比估计

本文介绍了一种基于神经网络和优化方法的似然比函数估计的方法，可用于工程和统计领域中的检测和假设检验问题。

Nov, 2019

高维密度比估计及其拓展在近似似然计算中的应用

提出了一种基于核算子特征函数的密度比估计器，避免了显式降维步骤，可以更好地反映数据的几何结构，同时可扩展应用于极端高维下的似然函数估计问题。

Apr, 2014

在 RKHS 中的密度比自适应学习

通过分析一类正则化 Bregman 散度的密度比率估计方法，我们得出新的有限样本误差界，并提出一种 Lepskii 类的参数选择原则，在不知道密度比率的规则性的情况下最小化误差界。在二次损失的特殊情况下，我们的方法能够自适应地达到极小极大误差率。

Jul, 2023

密度比估计的二元损失

从有限数量的密度观测结果中估计两个概率密度的比率是机器学习和统计学中的一个核心问题。本研究从一类 Bregman 散度中的预设误差度量出发，表征了导致密度比率估计具有小误差的所有损失函数，并提供了一个简单的构建具有特定属性的损失函数的方法。

Jul, 2024

用于稳健分布比较的相对密度比估计

本文提出了一种基于相对散度的密度比较方法，它可以更好地处理密度比例函数中的高峰和波动，具有良好的非参数收敛速度和模型复杂度，通过实验证明了该方法的有效性。

Jun, 2011

修剪后的密度比率估计

本文提出了一种鲁棒的密度比估计方法，可以自动识别和修剪异常值，并采用凸形式的参数估计误差分析和次梯度下降方法进行全局优化。

Mar, 2017

密度比估计的批次贝叶斯优化

本文介绍了一种基于密度比估计的贝叶斯优化方法，能够使用概率二元分类器代替函数上的先验，从而增强可扩展性与性能保证，并将问题重新形式化为近似贝叶斯推理，也能扩展至批优化问题中。该方法在一些实验中与其他基线方法进行了评估。

Sep, 2022

基于半监督学习和优化无标签数据采样的高维贝叶斯优化

本文提出一种基于半监督学习的师生模型的贝叶斯优化方法，利用未标记数据和黑盒函数，在学习到的潜在空间中降低维度，使其可应用于高维问题，优化 unlabeled data 的采样和选择，采用黑盒参数化采样分布和经过动态拟合的极值分布，该方法在多项真实世界和合成训练中优于其他已有 BO 方法。

May, 2023

深度密度比估计用于变点检测

本文提出新的目标函数来训练基于深度神经网络的密度比估计器，并将其应用于变点检测问题。我们比较使用梯度下降法来最小化的目标函数，并表明使用我们的深度密度比估计目标函数在癫痫检测任务上表现比其他基于核函数和神经网络的密度比估计方法和其他基于窗口的变点检测算法要好。我们还表明，在这种方法下仍然可以支持其他神经网络体系结构，例如卷积网络。

May, 2019