本文旨在通过开发二种基于 NSGA-II 和 PSL 算法的改进型多目标优化算法，实现联邦学习系统的多目标优化，包括模型性能最大化，隐私泄露和培训成本最小化以及对恶意攻击的鲁棒性，并在保证模型性能的同时，优化三个主要目标：隐私泄露、效用损失和培训成本。我们还对三种隐私保护机制 (随机化、批量加密和稀疏化) 进行了比较，并使用实验验证了算法的有效性.

Apr, 2023

本文提出了一种将联邦学习设计为多目标优化问题的新算法 FedMGDA+，该算法可保证收敛于 Pareto 稳态解，以确保在保护用户隐私的同时，确保公平性和鲁棒性。实验结果表明，FedMGDA + 相对于现有的联邦学习算法具有更好的性能表现。

Jun, 2020

通过引入自动学习范式，我们介绍了一种新的自动优化多目标优化问题的学习方法，并提出了一种多梯度学习优化（ML2O）方法，通过自动学习多个梯度以更新方向。通过引入新的守卫机制，我们提出了一种守卫多梯度学习优化（GML2O）方法，并证明了 GML2O 生成的迭代序列收敛到一个 Pareto 临界点。实验结果表明，我们学习的优化器在训练多任务学习神经网络方面胜过手动设计竞争对手。

Nov, 2023

本文研究了在分布式设备网络上训练机器学习模型所面临的统计和系统挑战，提出了一种适用于多任务学习的优化方法 MOCHA，并在考虑通信成本、慢设备和容错性等实际系统问题的前提下，实现了比替代方法更显著的加速效果。

May, 2017

此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

Dec, 2018

本文提出了基于方向的多目标问题、Stochastic Direction-oriented Multi-objective Gradient Descent 和 SDMGrad-OS 算法，实现了多任务学习和强化学习中的多目标优化。

May, 2023

该研究提出了一种基于混合模型假设的联邦多任务学习方法，该方法可以在设备上学习个性化模型并实现客户端和服务端两种架构下的联邦 EM 算法的收敛，同时在联邦学习基准测试中获得了更高的准确性和公平性。

Aug, 2021

本文研究了多目标学习（MOL）的动态权重算法如 MGDA 及其变种，并通过新的基于随机采样的 MGDA 算法，发现 MGDA 中的冲突避免更新方向会阻碍动态权重算法实现最优的 O（1/√n）种群风险，并展示了动态权重在优化、泛化和冲突避免三方面权衡的独特性。

May, 2023

多目标优化中介粒子方法以及其在全局帕累托优化中的应用

Nov, 2023

我们的目标是为机器学习从业者提供清晰、实用的指南，以有效地应用多目标优化 (MOO)，特别是在深度学习 (DL) 的背景下。

May, 2024