本研究介绍了一种扩展的 TPE 算法（c-TPE）来进行受约束的深度学习超参数优化，该方法通过 AF 的简单分解具有鲁棒性，对分类参数的搜索空间进行了 81 次实验，表现出了最佳平均排名表现。

Nov, 2022

本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

Dec, 2022

通过引入创新的搜索机制，基于深度学习模型的优化方法，在神经网络设计方面取得了重要突破。该方法有效选择了每个神经网络层的最佳比特宽度和层宽，提高了深度神经网络的效率。通过采用基于 Hessian 的修剪方法来减少搜索空间，并利用基于聚类的树状 Parzen 估计器构建代理模型，对各种架构进行快速的探索和定位。在多个数据集上的严格测试表明，该方法相对于现有方法具有明显的优势，模型大小减少了 20% 且准确度不降低。相较于现有的最佳搜索策略，该方法的搜索时间减少了 12 倍。因此，该方法为神经网络设计优化提供了快速、高效的解决方案，推动了可扩展深度学习解决方案的潜力。

Aug, 2023

本文探讨了使用树状 Parzen 估计器（TPE）对七自由度（DOF）机器人臂控制中的 Soft Actor-Critic（SAC）和 Proximal Policy Optimization（PPO）算法进行超参数优化的方法，在 50K 周期的训练中，实验结果显示 TPE 显著提高了算法的性能，提升了 SAC 的成功率 10.48 个百分点，提高了 PPO 的成功率 34.28 个百分点；此外，TPE 使得 PPO 在较短时间内能以最大奖励的 95% 收敛，比无 TPE 情况下快 76%，相当于节省了大约 40K 个周期的训练时间以达到最佳性能；对于 SAC 来说，优化的速度比无 TPE 的情况快 80%；本研究强调了先进的超参数优化对于复杂机器人任务中深度强化学习算法效率和成功率的影响。

Jun, 2024

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

本文提出采用树集成的核解释作为高斯过程先验以获得模型方差估计，并开发了与采集函数兼容的优化公式来同时解决使用树集成进行黑盒优化的两个主要挑战，从而在连续 / 离散特征以及混合特征的空间中，优于竞争方法。

Jul, 2022

通过发展 Bayes 最优方法和校准方法来理解和分析现有树模型中存在的训练 - 测试差异问题，并提出了一种新的算法来解决此问题，实验结果证明了该算法相较于现有方法具有更高的性能水平。

Jun, 2020

介绍一种基于深度集成网络的边缘 Pareto 剪枝模型 (MBPEP)，其采用独特的损失函数使子学习者可用于标准梯度下降学习，通过多项实验分析表明 MBPEP 实现了高质量不确定性估计，适用于具有未知分布数据集的实际问题，且在多任务问题上具有良好的学习性能。

Feb, 2019

使用自适应原型解释树集成算法（A-PETE），通过专用距离度量和改进的 k-medoid 方法，自动选择原型，以解释机器学习模型，并提供足够数量的原型用于解释随机森林分类器。

May, 2024

利用深度学习架构，研究了股票价格预测中的门控循环神经网络、超参数优化和 TPE-LSTM 模型，结果显示 TPE-LSTM 模型在预测股票指数价格方面具有最低的 MAPE 误差。

Jun, 2024