并行多目标超参数优化的均匀归一化与有界目标

Sep, 2023

并行多目标超参数优化的均匀归一化与有界目标

Parallel Multi-Objective Hyperparameter Optimization with Uniform Normalization and Bounded Objectives

Romain Egele, Tyler Chang, Yixuan Sun, Venkatram Vishwanath, Prasanna Balaprakash

TL;DR机器学习模型的超参数优化是一个具有多目标的挑战性问题，本研究提出了一种多目标贝叶斯优化算法，通过统一目标规范化和随机化权重在标量化中解决了不同目标尺度的问题，并通过限制目标来提高算法效率，最后通过并行化加速了优化过程。

Abstract

machine learning (ML) methods offer a wide range of configurable hyperparameters that have a significant influence on their performance. While accuracy is a commonly used performance objective, in many settings, it is not sufficient. Optimizing the ML models with respect to multiple ob

machine learning hyperparameter optimization multi-objective bayesian optimization parallelization

发现论文，激发创造

基于贝叶斯优化的多目标混合变量问题

本研究提出了一种混合变量、多目标贝叶斯优化框架 MixMOBO，可高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，结果表明 MixMOBO 在合成问题上表现良好。

Jan, 2022

高维搜索空间上的多目标贝叶斯优化

本文提出了一种可伸缩的多目标贝叶斯优化算法 MORBO，通过同时在设计空间的多个本地区域中使用协调策略进行并行优化，远高于现有算法的采样效率，适用于高维度的综合问题。

Sep, 2021

带性能不确定性的多目标超参数优化

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

具有预期超体积改进的多噪声目标并行贝叶斯优化

提出了一种新的采样函数 NEHVI，它通过在 Pareto 前沿上集成期望超体积改进准则的不确定性，从而克服了噪声干扰的限制，特别是在大批量优化环境中表现出卓越的性能。

May, 2021

基于轨迹的多目标模型重训练超参数优化

本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。

May, 2024

基于随机标量化的多目标贝叶斯优化的灵活框架

本文提出了一种基于随机标量化策略的多目标优化方法，可快速、灵活地从 Pareto 前沿的特定区域中采样，且在多项真实问题和合成问题的实验中显示了良好表现。

May, 2018

基于进化的超带宽算法用于多目标优化

本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

May, 2023

大批量神经多目标贝叶斯优化

本文提出了一种基于贝叶斯神经网络的优化框架，专门针对数据密集型环境中多目标优化的局限性进行了优化，实现了对大量数据的有效处理和复杂问题的建模，并展示了其在航空动力学和彩色印刷两个领域的应用和有效性。

Jun, 2023

神经网络多目标贝叶斯优化的增强随机搜索

本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。

May, 2023

基于多目标的深度学习参数优化调查

本研究探讨了多目标优化策略与深度神经网络结合的有效性，通过案例研究证明了该方法在多种应用程序中生成预测和分析方面具有价值。

May, 2023