一鸣惊人：强大防御策略 Nested PoE 对多后门攻击的鲁棒性

ACLApr, 2024

一鸣惊人：强大防御策略 Nested PoE 对多后门攻击的鲁棒性

Two Heads are Better than One: Nested PoE for Robust Defense Against Multi-Backdoors

Victoria Graf, Qin Liu, Muhao Chen

TL;DR数据污染后门攻击会对大型语言模型造成不良行为，我们提出了 Nested Product of Experts (NPoE) 防御框架，通过专业模型的混合实现对多个触发器类型的同时防御。实验结果表明，NPoE 能有效地防御各种类型的触发器。

Abstract

data poisoning backdoor attacks can cause undesirable behaviors in large language models (LLMs), and defending against them is of increasing importance. Existing defense mechanisms often assume that only one type of trigger is adopted by the attacker, while defending against multiple s

data poisoning backdoor attacks large language models nested product of experts defense framework trigger types

发现论文，激发创造

从快捷方式到触发器：使用去噪 PoE 进行后门防御

该文提出了基于集成学习的 DPoE 框架，用于解决语言模型面临的各种不同类型后门攻击的防御问题，并在 SST-2 数据集上进行了验证，结果表明 DPoE 在不同类型的后门触发器下都能显著提高防御性能。

May, 2023

在线多视图异常检测与解耦专家模型

本文提出了一种新颖的多视角变分自编码器模型 dPoE，通过多视角学习、解耦表示学习和生成模型的思想，使用产品 - 专家层、总校正鉴别器和联合损失函数解决多视角数据中的异常检测问题，并且在控制视角通用和视角特定表示方面设计了理论信息界限，大量实验表明，所提出的 dPoE 模型优于基线模型。

Oct, 2023

基于自动化和规范化的高斯过程融合的通用专家积

本文提出了广义专家乘积 (gPoE) 框架，用于结合多个概率模型的预测，通过分析和实验证明，Gaussian processes 一般的 gPoE 具有可伸缩性、表达力和鲁棒性，同时是现有的组合方案无法同时满足的。

Oct, 2014

专家模型的可辨别性

对于具有二元潜在变量层和在已知潜在变量条件下独立同分布的二元可观测层的 Product of Experts 模型的可辨识性进行研究，证明当潜在变量均匀分布时，模型可通过与参数数量相等的可观测量来辨识，并且在更一般的任意分布情况下，模型的可辨识性需要的可观测量与参数数量成线性关系（是最佳情况的两倍）。证明依赖于某些特殊三项递推的根部交错现象。

Oct, 2023

PoE：面向广义自动对话评估的专家小组

通过构建一个专门为领域通用而设计的 Panel of Experts（PoE）网络，我们实现了一个能够在多个对话领域实现最佳表现的其次对话评估度量标准（ADEM）。该网络包含了共享编码器和多个适应器，每个适应器都专注于一项特定领域并充当其领域专家。该模型以平均斯皮尔曼相关性的方式取得了各项评估指标上的最新成果，同时表现出比现有 ADEMs 更好的零 - shot 泛化能力，以及容易适应于少量转移学习的新领域。

Dec, 2022

重新审视单门限专家混合模型

本文提出了一种基于单门 MoE 的简单且高效的异步训练方法，并通过基于聚类的初始化策略等技术手段实现了高效率与高准确率的权衡，与其他复杂的 MoE 相比表现优异，为单门 MoE 的应用提供了新的思路。

Apr, 2023

大型语言模型中混合专家的更深入研究

Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。

Jun, 2024

混合专家模型的差分隐私训练

本研究调查了差分隐私 (Differential Privacy) 在自然语言处理领域中混合专家模型 (Mixture of Experts models) 训练中的整合。通过对大规模语言模型 (Large Language Models) 在数十亿参数上进行训练，利用海量数据集，使其具备了强大的语言能力和新兴的能力，但这一增长带来了重大的计算和隐私问题。我们的研究通过探索具备计算效率的 MoE 模型及 DP 的应用来解决这些问题。我们首次尝试在 DP 的约束下训练 MoE 模型，解决了其架构以及 DP 整合的复杂性所带来的独特挑战。我们的初步实验研究表明，MoE 模型可以通过 DP 有效训练，并与非隐私对照组有竞争力的性能。本次研究旨在为隐私保护的 MoE 模型领域提供有价值的洞察力，为该领域进一步的研究奠定基础，并为未来的发展提供引导。

Feb, 2024

多头专家混合

多头专家混合模型 (MH-MoE) 使用多头机制将每个令牌拆分为多个子令牌，并并行分配给和处理多样的专家集，然后无缝地重新集成到原始令牌形式，从而增强了训练中的专家激活，深化了上下文理解，减轻过拟合，同时易于实施和与其他 SMoE 模型集成，对英语和多语言模型以及多模态建模任务进行了大量实验，证明了 MH-MoE 的有效性。

Apr, 2024

集成和专家混合 DeepONets 用于运算员学习

我们提出了一种用于运算符学习的新型深度运算符网络（DeepONet）架构，即集合 DeepONet，它允许通过多个不同的主干网络来丰富单个 DeepONet 的主干网络。这种主干丰富能够在一系列运算符学习问题上具有更强的表达能力和泛化能力。我们还提出了一种利用单位划分（PoU）近似来促进运算符学习问题的空间局部性和模型稀疏性的空间专家混合（MoE）DeepONet 主干网络架构。我们首先证明了集合和 PoU-MoE DeepONet 都是通用逼近器。然后我们证明，包含标准主干、PoU-MoE 主干和 / 或 POD 主干的集合 DeepONet 在涉及二维和三维偏微分方程（PDEs）的标准和挑战性新运算符学习问题上，相对于标准 DeepONet 和 POD-DeepONet 可以实现 2-4 倍的更低相对 l2 误差。我们的新的 PoU-MoE 公式为将空间局部性和模型稀疏性纳入任何神经网络架构提供了一种自然方式，而我们的新的集合 DeepONet 为运算符学习的科学机器学习架构中的基础丰富提供了一个强大而通用的框架。

May, 2024