本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

Dec, 2022

该研究提出使用树形 Parzen 估计器进行贝叶斯优化的超参数优化，对各种控制参数进行评估，推荐的设置可提高优化性能，并可从所提出的教程中获得更多信息。

Apr, 2023

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

通过引入创新的搜索机制，基于深度学习模型的优化方法，在神经网络设计方面取得了重要突破。该方法有效选择了每个神经网络层的最佳比特宽度和层宽，提高了深度神经网络的效率。通过采用基于 Hessian 的修剪方法来减少搜索空间，并利用基于聚类的树状 Parzen 估计器构建代理模型，对各种架构进行快速的探索和定位。在多个数据集上的严格测试表明，该方法相对于现有方法具有明显的优势，模型大小减少了 20% 且准确度不降低。相较于现有的最佳搜索策略，该方法的搜索时间减少了 12 倍。因此，该方法为神经网络设计优化提供了快速、高效的解决方案，推动了可扩展深度学习解决方案的潜力。

Aug, 2023

本文探讨了使用树状 Parzen 估计器（TPE）对七自由度（DOF）机器人臂控制中的 Soft Actor-Critic（SAC）和 Proximal Policy Optimization（PPO）算法进行超参数优化的方法，在 50K 周期的训练中，实验结果显示 TPE 显著提高了算法的性能，提升了 SAC 的成功率 10.48 个百分点，提高了 PPO 的成功率 34.28 个百分点；此外，TPE 使得 PPO 在较短时间内能以最大奖励的 95% 收敛，比无 TPE 情况下快 76%，相当于节省了大约 40K 个周期的训练时间以达到最佳性能；对于 SAC 来说，优化的速度比无 TPE 的情况快 80%；本研究强调了先进的超参数优化对于复杂机器人任务中深度强化学习算法效率和成功率的影响。

Jun, 2024

本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

Jul, 2022

基于数据驱动的方法预测后优化决策问题，使用非凸生成模型的情景预测区域构建了 Conformal-Predict-Then-Optimize（CPO）框架，保证了鲁棒性，并通过提供可视化的不确定性区域的语义化摘要，为最优决策提供了定性的直觉。

Oct, 2023

本文介绍一种基于布尔函数分析技术的超参数优化方法，应用于高维数据的神经网络训练，并借鉴压缩感知技术，仅需要均匀取样即可迭代并行计算，故速度极快。在实验中，相较于目前最好的工具，此方法能够将解决方案有效提高，且总运行时间比其他方法更快。同时，该方法具有可证明的保证且对于决策树学习具有重要意义。

Jun, 2017

本文提出了一种利用基于置信度的分位数回归的超参数优化算法，相较于传统高斯过程模型，它能够更加真实和鲁棒地建模目标函数，加速超参数优化过程，并在多保真度场景下比传统方法表现更好。

May, 2023

通过引入 DPMC 和 DPO，结合动态规划和代数决策图技术实现了精确求解更为一般化的最大概率解释问题 Boolean MPE，并在随机生成的混合子句 - 异或范式公式实验中显著优于目前的 MaxSAT 状态最优求解器。

May, 2022