面向 Spark 的通用高效在线调优
本论文提出了一种自动化的基于先前任务调优历史知识的方法,通过传递学习能力将现有的贝叶斯优化方法能够具有迁移学习的能力。同时,作者通过精简搜索空间设计的方法有效地提高了基于机器学习和深度学习,包括神经架构搜索等任务的效能,并在各种基准测试中优于现有技术。
Jun, 2022
本文提出了一种基于贝叶斯优化的方法,该方法可以利用学习算法的迭代结构来有效地调整超参数。在深度强化学习和卷积神经网络训练中,我们的算法通过选择最佳超参数的方式,以最小时间成本实现了调优。
Sep, 2019
KERMIT 是一种自主架构,可以自动调整 Apache Spark 和 Hadoop,并能识别和分类复杂的多用户工作负载,以达到比人工管理员的启发式调优快 30%,并且比通过对调优参数空间进行透彻搜索获得的最快调优结果快高达 92%。
Mar, 2023
在这项工作中,我们提出了一种基于 GoOSE 算法的实时纯数据驱动的自适应控制方法,用于在线调整低级控制器参数,从而处理性能和稳定性的要求,并通过修改负载和参考步长将其与插值约束优化方法进行比较,用于评估算法在半导体行业应用中实现的真实精密运动系统的性能。
Apr, 2024
本文提出了一种名为 “CARBS” 的贝叶斯优化算法,通过在性能成本 Pareto 前沿周围进行本地搜索,解决了大规模深度学习模型参数调优的难题,并自动化了调优的 “黑魔法”,可以适用于任何深度学习问题,并发现了发现各种超参数的标度律,使得调优更加高效。
Jun, 2023
本文演示了如何利用多智能体系统开发一个分布式技术,用于确定任意集合的超参数的近似最优值,并在机器学习和全局函数优化应用中进行了研究。研究表明,在更高的维度下,所提出的模型在分类误差和函数评估方面都优于其底层随机调优策略。
May, 2022
本研究基于贝叶斯优化框架,建立高斯过程模型,通过前期实验获得的信息来优化机器学习算法的超参数调整,作者提出可以超过经验人类调参表现的自动算法,并介绍收集实验信息、利用多核心并行实验等新算法。
Jun, 2012
本研究提出了一个有效且强健的自动调参框架,用于在大型数据集和任意性能指标下进行降维算法的超参数选择,利用贝叶斯优化和代理模型,该方法使得超参数选择具有多目标权衡的效率,并允许我们进行数据驱动的敏感性分析。通过添加归一化和子采样,该框架表现出了多样性和高效性,并在 t-SNE 和 UMAP 等可视化技术应用中进行了评估。我们利用多种质量指标在各种合成和实际数据集上评估了我们的结果,从而为降维算法中的超参数选择提供了一个强健而高效的解决方案
Jun, 2023
Tune 是一个机器学习模型选择和训练的统一框架,提供训练脚本和搜索算法之间的窄腰接口,适合于多种超参数搜索算法、可以方便地扩展到大型集群并简化算法实现。
Jul, 2018
该论文提出了一种自动化的并行无导数优化框架 ——Autotune,它结合了多种专业的采样和搜索方法,可有效地调整机器学习模型的超参数,从而提高模型质量和训练效率,并通过并行计算和分布式训练优化算法的资源性能。
Apr, 2018