朝着为可持续发展的深度学习效能化：在深度转换神经网络上采用多目标超参数优化方法

Apr, 2024

朝着为可持续发展的深度学习效能化：在深度转换神经网络上采用多目标超参数优化方法

Towards Leveraging AutoML for Sustainable Deep Learning: A Multi-Objective HPO Approach on Deep Shift Neural Networks

Leona Hennig, Tanja Tornede, Marius Lindauer

TL;DR深度学习已经通过从大规模数据集中提取复杂模式推动了各个领域的发展。本研究关注于利用自动机器学习技术充分发挥深度位移神经网络的潜力，并通过超参数优化来提高性能并降低资源消耗，实现多目标优化和多保真度。实验结果表明，我们的方法有效，能够获得 80% 以上的准确率并具有较低的计算成本，加速了高效模型开发并支持可持续的人工智能应用。

Abstract

deep learning (DL) has advanced various fields by extracting complex patterns from large datasets. However, the computational demands of DL models pose environmental and resource challenges. Deep shift neural networks

deep learning shift neural networks automl techniques hyperparameter optimization multi-objective optimization

发现论文，激发创造

超参数优化：算法和应用综述

利用自动超参数优化来设计和训练深度学习中的神经网络仍然是一个令人困惑和具挑战性的过程。本文对多种重要的自动超参数优化相关主题进行了回顾和研究：关键超参数、主要优化算法、超参数搜索框架、模型性能评估等。

Mar, 2020

资源受限的物联网环境下高效的基于 Transformer 的超参数优化

提出一种基于转换器架构和强化学习方法的新颖方法 TRL-HPO, 用于解决资源受限环境下超参数优化过程中的计算资源和透明度问题，并通过对 MNIST 数据集的评估，证明了 TRL-HPO 在相同时间段内比其他方法的卷积神经网络分类结果提高了 6.8% 的效率，同时指出全连接层堆叠是性能下降的主要原因，为改进资源受限环境下的强化学习优化过程提供了新的思路。

Mar, 2024

可传递的神经过程用于超参数优化

本文提出一种基于迁移学习的自动超参数优化算法：Transfer Neural Processes (TNP)，将历史优化实验的知识转移应用到当前优化任务中，该算法在广泛的 OpenML 数据集和三个计算机视觉数据集上实现了前沿性能。

Sep, 2019

使用高性能计算和量子退火预测深度学习模型的超参数优化性能

利用模型性能预测与提前停止方法相结合，加速深度学习模型的超参数优化过程，通过 Swift-Hyperband 算法在高性能计算环境中测试，发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数，且使用较少的计算资源。

Nov, 2023

HPO 对 AutoML 预测集成的影响

探索在深度学习模型中添加不同超参数优化策略的效果，发现该方法与组合学习可以优于商业 AutoML 预测解决方案，并提供更高的准确性和更低的集成延迟。

Nov, 2023

多目标树结构 Parzen 估计器遇见元学习

本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

Dec, 2022

基于进化的超带宽算法用于多目标优化

本文介绍了一种名为 MO-DEHB 的多目标优化器，它可用于同时优化复杂不同的性能指标，包括准确性、延迟和算法公平性，并在各种任务中均有良好的表现。

May, 2023

高效自动化深度强化学习

本文提出了一种基于群体的自动化强化学习（AutoRL）框架，该框架在优化超参数和神经网络结构的同时训练智能体，提高了元优化的采样效率。在 MuJoCo 基准套件中的 TD3 算法中，我们将元优化所需的环境交互次数减少了一个数量级。

Sep, 2020

混合偏好优化：用辅助目标增强直接偏好优化

大型语言模型的对齐问题是一个复杂的挑战，本文提出了混合偏好优化（HPO）方法，通过结合直接优化偏好和强化学习的方法实现了对用户偏好和辅助设计目标的有效泛化，同时在各种具有挑战性的基准和模型规模上保持了对齐性能。

May, 2024

神经网络多目标贝叶斯优化的增强随机搜索

本文提出一种新的基于强化学习的方法来优化在小型设备上部署的深度神经网络，以便在保持预测精度的同时最小化内存占用和计算复杂度。实验结果表明，该方法在不同数据集和架构上均优于现有的多目标贝叶斯优化方法。

May, 2023