Apr, 2024

上下文冷热贝叶斯优化：超参数优化

PDF
TL;DR本文提出了一种名为 FT-PFN 的新型先验数据拟合网络，它利用了 transformer 在上下文学习方面的能力，以单次前向传播的方式高效可靠地进行贝叶斯学习曲线推断。经验证实，FT-PFN 的预测比之前工作中使用的深高斯过程和深度集成模型更准确且速度快 10-100 倍，并结合新颖的采样机制（MFPI-random）应用于深度学习超参数优化任务中，取得了新的同类任务的最好性能。
发现论文，激发创造
  • 冻融贝叶斯优化

    本文介绍一种基于贝叶斯优化的机器学习超参数搜索方法，在训练过程中根据部分信息决定是否暂停、新建模型，以及恢复之前考虑过的模型。该方法特别适合机器学习问题，通过开发一种新的正定协方差核来捕捉多种训练曲线，并开发了一个能够与额外时间观察优雅扩展的高斯过程先验。此外，我们提供了一个信息理论的框架来自动化决策过程。在多种常见的机器学习模型上的实验表明，我们的方法在实践中非常有效。

    Jun, 2014

  • PFNs 是现实世界贝叶斯优化的灵活模型

    该论文介绍了如何利用 Prior-data Fitted Networks (PFNs) 在贝叶斯优化中作为一种灵活的代理模型，并演示了 PFN 在人工高斯过程和超参数优化测试方面的效用。

    May, 2023

  • 基于汤普森采样的联邦贝叶斯优化

    本文提出联邦 Thompson 采样（FTS）方法，将贝叶斯优化扩展到联邦学习环境中，以协作方式解决黑盒优化问题，用随机傅里叶特征来逼近高斯过程代理模型，采用 Thompson 采样的方式来降低交换的参数数量，并提供了一个理论保证。实验表明 FTS 有效地解决了沟通效率、计算效率和实际性能等问题。

    Oct, 2020

  • 多元异构数据上自带核学习和 Transformer 预训练的高效贝叶斯优化

    本文提出了一种简单的方法来预训练一个代理模型，该模型是一个高斯过程，其核函数定义在从先前任务得到的深度特征学习的变压器编码器的数据集上，用于解决可能具有异构输入空间的先前任务。此外，我们还提供了一种简单而有效的混合初始化策略，用于未见过的输入变量对应的输入标记，从而加速新任务的收敛。对合成和真实基准问题的实验表明，我们提出的预训练和迁移 BO 策略相比现有方法更加有效。

    Aug, 2023

  • Transformer 可以进行贝叶斯推断

    本文介绍了 Prior-Data Fitted Networks (PFN) 方法，该方法利用大规模机器学习技术来逼近大量的后验概率。PFN 的目标是将后验逼近问题表述为带有集合值输入的监督分类问题，并展示了在多种不同领域的强大效果。

    Dec, 2021

  • 预训练对贝叶斯优化的帮助

    研究利用类似函数数据进行先前训练来设置高斯过程先验，以优化机器学习模型的超参数调整问题，结果表明该方法比其他方法高效至少三倍。

    Jul, 2022

  • 利用随机先验网络进行高维输出的可伸缩贝叶斯优化

    本文提出了一个深度学习框架，基于具有随机先验的 bootstrap 整合的神经体系结构，用于贝叶斯优化和连续决策。该框架能够在高维输出的情况下逼近设计变量和感兴趣数量之间的函数关系，测试表明该方法在优化轮毂叶片的形状等高度复杂的任务中具有明显的优越性。

    Feb, 2023

  • 深度图贝叶斯优化的深度神经架构搜索

    本文提出一种基于 Bayesian 图神经网络作为新的代理函数的方法，能够自动提取深度神经架构中的特征，并使用学到的特征来拟合和表征黑箱目标及其不确定性，将其用于应对深度神经架构搜索的挑战性任务，实验结果表明该方法在基准任务上明显优于比较方法。

    May, 2019

  • 可解释的 TabPFN 机器学习

    由于先验拟合网络（PFN）在低数据环境中展示出的极具潜力的结果，我们提出了一种适用于 TabPFN 的解释性方法，通过利用该模型的独特性质，我们的适应方法能更高效地计算 Shapley 值的估计以及在处理大规模 Transformer 时使用 Leave-One-Covariate-Out。此外，我们还展示了如何利用数据估值方法来解决 TabPFN 的可扩展性挑战。

    Mar, 2024

  • 使用 TabPFN 进行上下文数据蒸馏

    TabPFN 通过采用 in-context data distillation 方法，优化了原有模型的上下文效果，使其能够处理大规模数据集，从而在 48 个大型表格数据集上展示了比基于树模型和现代深度学习方法更强的性能。

    Feb, 2024