ICMLMay, 2023

PFNs 是现实世界贝叶斯优化的灵活模型

PDF
TL;DR该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型，并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。
prior-data fitted networksbayesian optimizationsurrogate modelinggaussian processhyperparameter optimization
发现论文，激发创造
  • Transformer 可以进行贝叶斯推断

    本文介绍了 Prior-Data Fitted Networks (PFN) 方法，该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题，并展示了在多种不同领域的强大效果。

    Dec, 2021

  • 先验数据拟合网络的统计基础

    该研究论文探讨了先验数据拟合网络（PFN）的理论基础，以及控制其行为的统计机制。虽然 PFN 是受贝叶斯思想启发的，但其行为可以纯粹地以预调整但未经训练的预测器来解释。

    May, 2023

  • 功能性神经过程

    本文介绍了一种新的可交换随机过程 —— 函数神经过程（FNPs），它们通过学习数据集中点的潜在表示的依赖关系图，对函数分布进行建模。作者在不明确设定潜在全局参数的先验分布的情况下，采用了对给定数据集的关系结构的先验分布来定义贝叶斯模型，并通过小批量优化提高了可扩展性。作者还展示了如何通过后验预测分布对新点进行预测，并在玩具回归和图像分类任务上实验评估了 FNPs，证明了相比采用全局潜在参数的基准模型，FNPs 不仅提供了竞争性的预测性能，而且更具鲁棒性的不确定性估计。

    Jun, 2019

  • 使用先验 - 数据拟合网络实现高效贝叶斯学习曲线外推

    本研究论文通过利用先验数据拟合的神经网络模型（PFN），将贝叶斯推断应用于学习曲线外推，实现更准确且高效的后验预测分布，并展示了该模型在模型选择中的潜在应用，证明基于 LC-PFN 的预测性提前停止准则在 45 个数据集上可以实现 2-6 倍的加速且几乎没有额外的开销。

    Oct, 2023

  • 上下文冷热贝叶斯优化：超参数优化

    本文提出了一种名为 FT-PFN 的新型先验数据拟合网络，它利用了 transformer 在上下文学习方面的能力，以单次前向传播的方式高效可靠地进行贝叶斯学习曲线推断。经验证实，FT-PFN 的预测比之前工作中使用的深高斯过程和深度集成模型更准确且速度快 10-100 倍，并结合新颖的采样机制（MFPI-random）应用于深度学习超参数优化任务中，取得了新的同类任务的最好性能。

    Apr, 2024

  • 高斯过程网络的贝叶斯方法

    本文研究高斯过程网络 (GPNs) 的贝叶斯结构学习问题，提出基于蒙特卡罗和马尔可夫链蒙特卡罗方法的网络结构后验分布抽样算法，并在模拟实验中证明该方法在恢复网络图形结构和提供准确后验分布方面优于现有算法。

    Jun, 2023

  • 带有部分评估的函数网络的贝叶斯优化

    使用一种基于知识梯度获取函数关系网的新方法，使得节点评估和输入选择可以根据成本进行，从而降低了查询成本并在多个合成和真实问题中优于现有的函数网络方法和其他基准。

    Nov, 2023

  • 预训练高斯过程用于贝叶斯优化

    本文提出了一种基于预训练高斯过程先验的 Bayesian optimization 策略 HyperBO，为深度学习模型的超参数调整提供了一种有效的方法，该方法不需要专家知识即可自动设置先验概率分布，并可在多任务和复杂场景下有效优化模型性能。

    Sep, 2021

  • 条件神经过程

    本文提出了一系列的神经模型 CNPs，结合了深度神经网络和高斯过程两种方法，旨在对给定数据集做出精确预测。

    Jul, 2018

  • 功能变分贝叶斯神经网络

    该研究提出了一种称为 fBNN 的函数变分贝叶斯神经网络，该网络使用随机过程来定义 ELBO，可以指定包含丰富结构的先验分布，提供可靠的不确定性估计并适用于大型数据集。

    Mar, 2019