混合专家模型的对抗鲁棒性

Oct, 2022

On the Adversarial Robustness of Mixture of Experts

Joan Puigcerver, Rodolphe Jenatton, Carlos Riquelme, Pranjal Awasthi, Srinadh Bhojanapalli

TL;DR通过理论分析和实验，研究表明，相比密集的神经网络，使用稀疏的 Mixture of Expert 模型具有更好的鲁棒性，可以抵抗对抗性的攻击，这使得它们成为增强学习等应用中的有力工具。

Abstract

adversarial robustness is a key desirable property of neural networks. It has been empirically shown to be affected by their sizes, with larger networks being typically more robust. Recently, Bubeck and Sellke pr

adversarial robustness neural networks mixture of expert models lipschitz constants imagenet

发现论文，激发创造

鲁棒的混合专家训练卷积神经网络

基于卷积神经网络的 Sparsely-gated 混合专家（MoE）模型的对抗鲁棒性进行增强的研究成果表明，通过提出路由器 - 专家交替对抗训练框架（AdvMoE），可以使 MoE-CNN 模型在对抗环境下获得 1%~4% 的鲁棒性改进，并且其稀疏门控的 MoE 结构带来了超过 50% 的推理成本降低。

Aug, 2023

增强混合专家网络的 “免疫力” 以进行对抗性防御

我们在这项工作中提出了一种新的对抗防御方法称为 “Immunity”（基于修改的 Mixture-of-Experts（MoE）架构），通过集成随机开关门（RSGs）和创新的互信息（MI）和位置稳定性（Position Stability）损失函数，提高深度神经网络对广泛攻击的对抗鲁棒性。

Feb, 2024

大型语言模型中混合专家的更深入研究

Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

Jun, 2024

混合专家中的缓冲区溢出

混合专家模型在扩展大型基础模型的同时保持推理成本稳定方面起到关键作用。我们展示了具有跨批次依赖的专家路由策略容易受到攻击。如果恶意查询与正常查询分组在同一批次中，恶意查询可以影响模型对其他正常查询的输出。我们通过玩具实验环境中的攻击概念证明了这一点。

Feb, 2024

稀疏专家混合模型构建可靠的语言模型

通过 $ exttt {MoE-RBench}$ 全面评估了混合专家模型（MoE）在可靠性方面的表现，包括安全性与幻觉、对抗攻击的弹性和超域鲁棒性，并发现在适当的超参数、训练配方和推理技术下，MoE 模型的可靠性可以超过密集型大型语言模型（LLMs）。

Jun, 2024

强化学习设置中的专家混合模型

以增加参数计数、减少休眠神经元为特点的协同专家模型在深度强化学习中显著提升性能，通过多任务训练模拟非稳态性的扩大，进一步增强学习能力，并探索最佳使用戏剧评论理论网络中的协同专家组件的方法。

Jun, 2024

稠密专家混合模型的泛化误差分析：初步研究

在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

Mar, 2024

混合专家解开深度强化学习的参数缩放

本文研究了监督学习、缩放定律、强化学习、专家混合和参数可扩展性，并通过实证提供了发展强化学习缩放定律的有力证据。

Feb, 2024

推动专家混合模型的极限：非常参数高效的指令调优 MoE

我们的研究展示了混合专家架构的多样性，即使在严格的参数约束下，也能提供稳健的性能，并通过唯一地将 MoE 架构与轻量级专家相结合，提出了极其高效的 MoE 架构，推动了 MoE 的极限。

Sep, 2023

HyperMoE: 通过专家之间的迁移改进更好的专家混合

HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

Feb, 2024