hyperparameter optimization (HPO) is a central pillar in the automation of
machine learning solutions and is mainly performed via bayesian optimization,
where a parametric surrogate is learned to approximate the
本文提出了一种简单的方法来预训练一个代理模型，该模型是一个高斯过程，其核函数定义在从先前任务得到的深度特征学习的变压器编码器的数据集上，用于解决可能具有异构输入空间的先前任务。此外，我们还提供了一种简单而有效的混合初始化策略，用于未见过的输入变量对应的输入标记，从而加速新任务的收敛。对合成和真实基准问题的实验表明，我们提出的预训练和迁移 BO 策略相比现有方法更加有效。