本研究提出一种直接在特征空间中根据偏好条件来调整神经网络的多目标优化方法，通过对解决方案进行惩罚来维持小角度到偏好向量的方法确保了良好分布的 Pareto 曲线，实验证明我们的 Pareto 前缘尽管计算速度显著更快，但也达到了业内最先进的质量，并展示了其可扩展性。

Mar, 2021

本文通过神经组合优化的思想，提出了多目标组合优化问题的学习方法，模型可直接生成逼近帕累托前沿的解，证明了该方法在多目标问题上的有效性。

Mar, 2022

本文提出了一种基于学习的方法，将分解式多目标优化算法 (MOEA/D) 从有限种群推广到模型，以近似整个 Pareto 集，为决策者提供灵活的决策，并展示实验结果。

Oct, 2022

提出了一种使用动态损失函数来进行多目标训练神经网络以逼近 Pareto 前沿的新方法，在三个多目标问题上的实验表明，本方法无需预先指定权衡向量即可以返回分布在不同权衡方案上的输出，并且与现有技术相比具有更多的优势，尤其是对于非对称 Pareto 前沿。

Feb, 2021

本文提出一种新的混合专家神经网络架构（MoE），并采用三维混合并行算法，结合张量、专家和数据并行，进行内存和通信优化，极大地提高了 MoE 模型的训练效率和精度。

Mar, 2023

我们的研究展示了混合专家架构的多样性，即使在严格的参数约束下，也能提供稳健的性能，并通过唯一地将 MoE 架构与轻量级专家相结合，提出了极其高效的 MoE 架构，推动了 MoE 的极限。

Sep, 2023

提出了一种新的、高效的方法，可以生成局部连续的 Pareto 集和 Pareto fronts，并将其应用于现代机器学习问题中。通过提出基于样本的稀疏线性系统，将多目标优化的理论结果扩展到现代机器学习问题中，并实现了局部 Pareto 集的分析。与现有算法相比，通过在各种多任务分类和回归问题上的应用，证明了我们的算法在平衡权衡、有效地找到更多的不同权衡解以及迎合百万级参数任务的能力。

Jun, 2020

该研究采用 Pareto HyperNetworks（PHNs）实现了 Pareto-Front Learning（PFL），它通过一个超网络同时学习并输出 Pareto 前沿，并且相比于训练多个模型，该方法具有更高的运行时效率，并可以根据运行时的偏好选择特定模型。

Oct, 2020

使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

Apr, 2022

本文提出一种适用于多个质量变量的多变量软测量方法，通过改良神经网络结构和优化目标函数，实现了对质量变量的准确估计。在这个方法中，作者利用目标专家混合模块（OMoE）和帕累托目标路由模块（POR）解决了模型中存在的负面迁移和平衡问题，实验结果表明，该模型表现出了先进的性能。

Feb, 2023