M-HOF-Opt: 多目标分层输出反馈优化通过乘数引起的损失地貌调度

Mar, 2024

M-HOF-Opt: 多目标分层输出反馈优化通过乘数引起的损失地貌调度

M-HOF-Opt: Multi-Objective Hierarchical Output Feedback Optimization via Multiplier Induced Loss Landscape Scheduling

Xudong Sun, Nutan Chen, Alexej Gossmann, Yu Xing, Carla Feistner...

TL;DR通过引入基于概率图模型的联合模型参数和乘子进化过程，以及基于超体积的似然度量，该研究提出了一种多目标层次输出反馈训练方案，用于处理神经网络参数化损失函数中的多项难题，并且还包含了对控制器参数进行序贯决策的最优控制问题，以及通过每个损失项的输出反馈调度损失景观的低层乘子控制器。该方法在时代尺度上无需乘子且计算资源消耗较小，在 PACS 领域泛化任务上的实验结果表明，该方法在控制器超参数和乘子初始条件的不同情况下表现出了健壮的性能，并且优于其他乘子调度方法。

Abstract

When a neural network parameterized loss function consists of many terms, the combinatorial choice of weight multipliers during the optimization process forms a challenging problem. To address this, we proposed a probabilistic graphical model (PGM) for the joint model parameter and

neural network probabilistic graphical model multiplier evolution loss landscapes deep learning

发现论文，激发创造

使用超体积最大化多目标学习预测帕累托前沿

提出了一种使用动态损失函数来进行多目标训练神经网络以逼近 Pareto 前沿的新方法，在三个多目标问题上的实验表明，本方法无需预先指定权衡向量即可以返回分布在不同权衡方案上的输出，并且与现有技术相比具有更多的优势，尤其是对于非对称 Pareto 前沿。

Feb, 2021

多个鉴别器的生成对抗网络多目标训练

本研究重新审视多判别器模型，将不同模型提供的损失的同时最小化作为多目标优化问题，并评估多种数据集上的多梯度下降和超体积最大化算法的性能。我们的结果表明，超体积最大化在样本质量和计算成本之间提供了更好的折衷方案，比之前方法更优。

Jan, 2019

预测混合整数线性规划的准确拉格朗日乘数

采用图卷积网络的深度学习方法来优化通过拉格朗日松弛解决复杂约束的混合整数线性规划问题，通过训练编码器和解码器来最大化连续松弛和最佳拉格朗日界限之间的间隙，并提供一个高质量的下降启动点。

Oct, 2023

基于轨迹的多目标模型重训练超参数优化

本研究提出了一种基于轨迹的多目标贝叶斯优化算法，通过考虑训练轮次作为附加决策变量，充分利用迭代学习过程中的轨迹信息来提升多目标超参数优化问题的性能。实验证明，该算法在寻找更好的权衡和提高调优效率方面优于现有的多目标优化器。

May, 2024

过参数非线性系统和神经网络中的损失景观和优化

本文提出了一种现代观点和一般性的数学框架，用于涵盖超参数机器学习模型和非线性方程组的损失景观和高效优化，其中包括超参数深度神经网络，并说明这些系统的 PL$^*$ 条件密切相关，这解释了（S）GD 对全局最小值的收敛，并提出了一个放松 PL$^*$ 条件的方法可应用于几乎超参数系统。

Feb, 2020

带性能不确定性的多目标超参数优化

本文介绍了一种使用 Tree-structured Parzen Estimators 采样策略和训练带异质噪声的 Gaussian Process Regression 元模型的多目标超参数优化方法，具有更好的超体积指标表现，并考虑到模型评估的不确定性。

Sep, 2022

使用超网络学习 Pareto 前沿

该研究采用 Pareto HyperNetworks（PHNs）实现了 Pareto-Front Learning（PFL），它通过一个超网络同时学习并输出 Pareto 前沿，并且相比于训练多个模型，该方法具有更高的运行时效率，并可以根据运行时的偏好选择特定模型。

Oct, 2020

多目标优化的多梯度学习优化

通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

Nov, 2023

面向几何感知的神经多目标组合优化 Pareto 集学习

通过基于超体积期望最大化的 Pareto 注意模型以及超体积残差更新策略，结合新颖的推理方法和局部子集选择方法，设计了一种名为 GAPL 的几何感知 Pareto 集学习算法，用于解决多目标组合优化问题，提高问题的分解能力和多样性增强。通过三个经典的多目标组合优化问题的实验结果表明，GAPL 算法在分解和多样性增强方面优于现有的神经基准模型。

May, 2024

神经序列建模任务损失最小化参数搜索中的 MLE 指导

本文提出了一种名为 MGS 的新方法，其中基于随机搜索参数空间的分布，使用非确定性方法引导参数更新方向，从而优化序列级别的任务损失，实现了显著的重复性和非终止性减少，并产生与最小风险训练相似的性能。

Jun, 2020