使用超体积最大化多目标学习预测帕累托前沿
该研究采用 Pareto HyperNetworks(PHNs)实现了 Pareto-Front Learning(PFL),它通过一个超网络同时学习并输出 Pareto 前沿,并且相比于训练多个模型,该方法具有更高的运行时效率,并可以根据运行时的偏好选择特定模型。
Oct, 2020
本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法,通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线,实验证明我们的 Pareto 前缘尽管计算速度显著更快,但也达到了业内最先进的质量,并展示了其可扩展性。
Mar, 2021
提出 PHN-HVI 框架,利用超网络从多样化的权衡偏好生成多个解并最大化这些解定义的超体积指标以提高 Pareto 前沿的质量,在多个 MOO 机器学习任务上实验结果表明,与基线方法相比,该框架显著提高了产生权衡 Pareto 前沿的性能。
Dec, 2022
我们提出了一种以人为中心的交互式超参数优化方法,旨在从用户中提取优化指标并引导优化,通过学习比较不同帕累托前沿以选择适当的质量指标进行改进,在 ML 环境影响评估中验证了该方法的有效性。
Sep, 2023
提出了一种新的、高效的方法,可以生成局部连续的 Pareto 集和 Pareto fronts,并将其应用于现代机器学习问题中。通过提出基于样本的稀疏线性系统,将多目标优化的理论结果扩展到现代机器学习问题中,并实现了局部 Pareto 集的分析。与现有算法相比,通过在各种多任务分类和回归问题上的应用,证明了我们的算法在平衡权衡、有效地找到更多的不同权衡解以及迎合百万级参数任务的能力。
Jun, 2020
通过专家混合(MoE)模型融合的实用且可扩展的方法,本研究旨在有效学习大型神经网络的 Pareto 集,从而捕捉多个目标之间的权衡关系和大致近似整个 Pareto 集,并在低内存使用量的情况下提供可扩展性。
Jun, 2024
通过基于超体积期望最大化的 Pareto 注意模型以及超体积残差更新策略,结合新颖的推理方法和局部子集选择方法,设计了一种名为 GAPL 的几何感知 Pareto 集学习算法,用于解决多目标组合优化问题,提高问题的分解能力和多样性增强。通过三个经典的多目标组合优化问题的实验结果表明,GAPL 算法在分解和多样性增强方面优于现有的神经基准模型。
May, 2024
使用梯度信息和基于策略的方法在多目标 MDP 中学习连续的 Pareto 边界序列,通过跟踪单个梯度上升运行来生成解决方案。
Jun, 2014
本文提出了一种多目标优化的方法 Pareto Testing,通过结合多目标优化和多假设检验,构建了一组有前途的 Pareto Frontier,并将统计检验应用于这个 Pareto Frontier,用以同时控制和优化各种准确性和成本指标,以此可靠地加快自然语言处理(NLP)应用中大规模 Transformer 模型的执行。
Oct, 2022
本研究重新审视多判别器模型,将不同模型提供的损失的同时最小化作为多目标优化问题,并评估多种数据集上的多梯度下降和超体积最大化算法的性能。我们的结果表明,超体积最大化在样本质量和计算成本之间提供了更好的折衷方案,比之前方法更优。
Jan, 2019