BriefGPT.xyz
Feb, 2024
混合专家中的缓冲区溢出
Buffer Overflow in Mixture of Experts
HTML
PDF
Jamie Hayes, Ilia Shumailov, Itay Yona
TL;DR
混合专家模型在扩展大型基础模型的同时保持推理成本稳定方面起到关键作用。我们展示了具有跨批次依赖的专家路由策略容易受到攻击。如果恶意查询与正常查询分组在同一批次中，恶意查询可以影响模型对其他正常查询的输出。我们通过玩具实验环境中的攻击概念证明了这一点。
Abstract
mixture of experts
(MoE) has become a key ingredient for scaling large
foundation models
while keeping inference costs steady. We show that
exper
→