Jul, 2019

多目标优化的随机多梯度算法及其在监督机器学习中的应用

PDF
TL;DR研究随机多梯度 (SMG) 方法，将其作为经典随机梯度方法的扩展，用于解决具有不确定性数据的多目标优化问题。通过建立计算 Pareto 前沿的速率，将 SMG 方法帧入 Pareto-front 类型算法，可以鲁棒地确定 Pareto 前沿，并可应用于多个问题上，例如在机器学习中的逻辑二元分类。
multi-objective optimizationstochastic gradient methodpareto frontsupervised machine learninglogistic binary classification
发现论文，激发创造
  • 定向多目标学习：简单且可证明的随机算法

    本文提出了基于方向的多目标问题、Stochastic Direction-oriented Multi-objective Gradient Descent 和 SDMGrad-OS 算法，实现了多任务学习和强化学习中的多目标优化。

    May, 2023

  • 关于广义光滑下多目标优化的收敛性研究

    本文研究了多目标优化问题中更一般且更现实的平滑损失函数类别，在神经网络中，提出了两种新颖的单循环算法 GSMGrad 和 SGSMGrad，以逼近在所有目标之间最大化最小改进的冲突避免方向。

    May, 2024

  • 多目标优化的多梯度学习优化

    通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

    Nov, 2023

  • 多目标推荐系统的多梯度下降

    本文提出了用随机梯度下降的方法（MGDRec）来解决推荐系统中多目标优化问题，通过梯度规范化将不同度量指标作为一个整体优化，确保同时提升多个利益相关者的目标，避免了全梯度计算的缺点并且在提高准确率的同时也提升了产品的质量。

    Dec, 2019

  • Wasserstein-Fisher-Rao 梯度流的多目标优化

    多目标优化中介粒子方法以及其在全局帕累托优化中的应用

    Nov, 2023

  • 机器学习中使用多目标优化时需避免的常见陷阱

    我们的目标是为机器学习从业者提供清晰、实用的指南，以有效地应用多目标优化 (MOO)，特别是在深度学习 (DL) 的背景下。

    May, 2024

  • PMGDA: 基于偏好的多梯度下降算法

    为了解决多目标机器学习中出现的问题，本文提出了一种新颖的预测和校正框架，用于定位决策者所需的精确 Pareto 最优解。该方法可以高效地在标准基准、多任务和多目标强化学习问题中找到精确的 Pareto 最优解。

    Feb, 2024

  • 随机多目标采样梯度下降

    我们提出了一种名为 Stochastic Multiple Target Sampling Gradient Descent (MT-SGD) 的方法，用于从多个未归一化的目标分布中进行采样。通过逐渐调整中间分布的流向多个目标分布，使采样粒子向目标分布的联合高似然区域移动，此方法在多目标优化问题上获得了良好的表现。

    Jun, 2022

  • 基于贝叶斯优化的多目标混合变量问题

    本研究提出了一种混合变量、多目标贝叶斯优化框架 MixMOBO，可高效找到混合变量设计空间的最优帕累托前沿，同时确保多样解，结果表明 MixMOBO 在合成问题上表现良好。

    Jan, 2022

  • 多目标同时乐观优化

    本文介绍了一种基于多臂赌博机的乐观方法，称之为多目标同时乐观优化（MO-SOO）。该算法通过结合多个多臂赌博机在多目标问题的可行决策空间中建立分层结构，以识别帕累托最优解。通过描述该算法的有限时间和渐近行为，分别分析了算法的上界和一致性性质。在 300 个双目标基准问题中，与三个随机算法进行比较，MO-SOO 表现出与顶尖随机算法一致的性能，即 SMS-EMOA 算法。

    Dec, 2016