本研究提出了一种基于混合专家（MoE）和任务梯度平衡（TGB）的平衡混合专家模型（BMoE），通过表述任务关系和动态平衡任务梯度，解决了工业软传感模型中的数据效率和负迁移问题，并在典型的硫回收装置上获得了显著优异的表现。

May, 2023

通过专家混合（MoE）模型融合的实用且可扩展的方法，本研究旨在有效学习大型神经网络的 Pareto 集，从而捕捉多个目标之间的权衡关系和大致近似整个 Pareto 集，并在低内存使用量的情况下提供可扩展性。

Jun, 2024

本文介绍了一种新的算法，通过任务相似性来加速多目标超参数优化 (MO-TPE)。研究表明该算法可在表格 HPO 基准测试中加速 MO-TPE, 同时获得了 AutoML 2022 比赛的第一名。

Dec, 2022

通过寻求多个多目标优化问题的互补子集解决方案的权衡，我们引入了一种称为 MosT 的多目标多解传输框架，其通过在每个解决方案中对加权目标进行双层优化，并使用目标和解决方案之间的最优传输来定义权重，确保收敛到 Pareto 稳态解决方案。在联邦学习、多任务学习和混合提示学习等应用中，MosT 都显著优于强基线方法，提供高质量的多样化解决方案，刻画了整个 Pareto 前沿，从而实现了在多个目标之间的平衡权衡。

Mar, 2024

HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

Feb, 2024

通过软的 MoE 方法，我们可以在训练和推断成本上实现模型容量的扩展，解决了传统的 MoE 方法中存在的多个问题，在视觉识别任务中显著优于标准的 Transformers 和其他 MoE 变种，并且在模型规模扩展上也有良好的性能。

Aug, 2023

通过训练技术和应用设置，本文将 PtO 方法扩展到具有不可微分的有序加权平均目标的优化问题，展示了如何在不确定性下有效地将 OWA 函数优化与参数预测相结合，以实现公平和稳健的优化。

Feb, 2024

该研究文章通过对计算机视觉任务中的 MoEs 中路由器的全面研究，提出了一个统一的 MoE 公式，该公式涵盖了使用两个参数化路由张量的不同 MoEs（包括基于二进制或硬分配的稀疏 MoE 和基于加权组合的软分配的稀疏 MoE），并揭示了路由器在视觉 MoE 模型中发挥至关重要作用的新见解。

Jan, 2024

提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

Jun, 2021

这篇论文回顾了多目标优化（MOO）的基本定义、特性和算法工具，并提供了一个关于基于信号处理算法的大规模 MIMO 案例研究，以便帮助网络设计师了解如何平衡 5G 网络不同的性能目标。

Jun, 2014