使用超网络学习 Pareto 前沿

ICLROct, 2020

Learning the Pareto Front with Hypernetworks

Aviv Navon, Aviv Shamsian, Gal Chechik, Ethan Fetaya

TL;DR该研究采用 Pareto HyperNetworks（PHNs）实现了 Pareto-Front Learning（PFL），它通过一个超网络同时学习并输出 Pareto 前沿，并且相比于训练多个模型，该方法具有更高的运行时效率，并可以根据运行时的偏好选择特定模型。

Abstract

multi-objective optimization (MOO) problems are prevalent in machine learning. These problems have a set of optimal solutions, called the Pareto front, where each point on the front represents a different trade-off between possibly conflicting objectives. Recent MOO methods can target

multi-objective optimization pareto front hypernetworks pareto-front learning runtime efficiency

发现论文，激发创造

利用多样本超网络改善 Pareto 前沿学习

提出 PHN-HVI 框架，利用超网络从多样化的权衡偏好生成多个解并最大化这些解定义的超体积指标以提高 Pareto 前沿的质量，在多个 MOO 机器学习任务上实验结果表明，与基线方法相比，该框架显著提高了产生权衡 Pareto 前沿的性能。

Dec, 2022

基于深度多目标学习的可扩展 Pareto 前沿逼近

本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法，通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线，实验证明我们的 Pareto 前缘尽管计算速度显著更快，但也达到了业内最先进的质量，并展示了其可扩展性。

Mar, 2021

使用超体积最大化多目标学习预测帕累托前沿

提出了一种使用动态损失函数来进行多目标训练神经网络以逼近 Pareto 前沿的新方法，在三个多目标问题上的实验表明，本方法无需预先指定权衡向量即可以返回分布在不同权衡方案上的输出，并且与现有技术相比具有更多的优势，尤其是对于非对称 Pareto 前沿。

Feb, 2021

多目标可微分神经架构搜索

我们提出了一种新的神经架构搜索算法，通过超网络对设备和多个目标进行参数化和条件化，实现了性能和硬件度量之间的权衡，并在一次搜索中获得多设备上的具有代表性和多样性的架构。在高达 19 个硬件设备和 3 个目标的大量实验证明了方法的有效性和可扩展性。最后，我们证明在不增加额外成本的情况下，我们的方法在不同搜索空间和数据集上优于现有的多目标优化神经架构搜索方法，包括 ImageNet-1k 上的 MobileNetV3 和机器翻译中的 Transformer 空间。

Feb, 2024

多目标问题中通过偏好学习的交互式超参数优化

我们提出了一种以人为中心的交互式超参数优化方法，旨在从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿以选择适当的质量指标进行改进，在 ML 环境影响评估中验证了该方法的有效性。

Sep, 2023

基于专家模型融合的高效 Pareto 集近似方法

通过专家混合（MoE）模型融合的实用且可扩展的方法，本研究旨在有效学习大型神经网络的 Pareto 集，从而捕捉多个目标之间的权衡关系和大致近似整个 Pareto 集，并在低内存使用量的情况下提供可扩展性。

Jun, 2024

昂贵多目标优化的 Pareto 集学习

本文提出了一种基于学习的方法，将分解式多目标优化算法 (MOEA/D) 从有限种群推广到模型，以近似整个 Pareto 集，为决策者提供灵活的决策，并展示实验结果。

Oct, 2022

神经多目标组合优化问题中的 Pareto 集学习

本文通过神经组合优化的思想，提出了多目标组合优化问题的学习方法，模型可直接生成逼近帕累托前沿的解，证明了该方法在多目标问题上的有效性。

Mar, 2022

多任务学习中高效的连续 Pareto 探索

提出了一种新的、高效的方法，可以生成局部连续的 Pareto 集和 Pareto fronts，并将其应用于现代机器学习问题中。通过提出基于样本的稀疏线性系统，将多目标优化的理论结果扩展到现代机器学习问题中，并实现了局部 Pareto 集的分析。与现有算法相比，通过在各种多任务分类和回归问题上的应用，证明了我们的算法在平衡权衡、有效地找到更多的不同权衡解以及迎合百万级参数任务的能力。

Jun, 2020

组合优化的多目标指针网络

这项研究提出了一种名为 MOPN 的多目标指针网络单模型深度强化学习框架，用于有效解决多目标组合优化问题，在不同应用场景下深度增强学习与代表性模型、迁移学习等策略相结合下取得了更好的性能。

Apr, 2022