AAAIAug, 2022

使用混合专家从噪声标签中进行异常检测的 ADMoE

PDF
TL;DR提出了一种用于从较便宜的弱 / 噪声标签中学习的 ADMoE 方法，该方法通过 MoE 构架鼓励专业和可扩展的学习，并通过构建 “专家” 子网络来鼓励专业化，在 8 个数据集中有效地使用，可以提高 34％的性能。
anomaly detectionweak/noisy labelsadmoemixture-of-expertsneural network-based detection
发现论文，激发创造
  • 面向嘈杂标注下的鲁棒自适应目标检测

    本研究提出一种面向带有噪声注释的领域自适应目标检测（DAOD）的框架，包括潜在实例挖掘、可变形图关系模块和熵感知梯度协调等关键技术，将语义信息纳入学习过程，取得了不错的实验成果。

    Apr, 2022

  • DAMEX：面向混合数据集的数据集感知专家混合模型用于可视化理解

    构建一个通用检测器的关键问题是如何在大量混合数据集上最有效地训练模型？答案在于学习数据集特定的特征并将它们的知识组合在一个单一模型中。我们提出了一种解决方案，即基于数据集的专家混合模型 (DAMEX)，通过训练专家成为数据集的 “专家”，学习将每个数据集的标记路由到相应的专家。在通用对象检测基准上的实验证明了我们超越了现有的最先进水平，平均提高了 10.2 个 AP 分数，并比非 MoE 基准模型平均提高了 2.0 个 AP 分数。我们还观察到，在混合具有 (1) 有限可用性的数据集、(2) 不同领域的数据集和 (3) 不同标签集的数据集时，仍然表现出稳定的优势。此外，我们定性地展示了 DAMEX 对抗专家表示崩溃的鲁棒性。

    Nov, 2023

  • MoCaE: 混合校准专家显著改进目标检测

    通过将不同目标检测器合理结合，在不同任务上证明了 MoCaE 方法的有效性，并在 COCO、LVIS 和 DOTA 数据集上取得了显著的结果提升。

    Sep, 2023

  • AdaMoE：自适应令牌路由与零专家混合专家语言模型

    透過引入 AdaMoE 實現標記自適應路由，該方法可以在不增加顯著開銷的情況下提升模型容量，並且可以減少平均專家負載（FLOPs）並達到更好的性能。

    Jun, 2024

  • 鲁棒的混合专家训练卷积神经网络

    基于卷积神经网络的 Sparsely-gated 混合专家（MoE）模型的对抗鲁棒性进行增强的研究成果表明，通过提出路由器 - 专家交替对抗训练框架（AdvMoE），可以使 MoE-CNN 模型在对抗环境下获得 1%~4% 的鲁棒性改进，并且其稀疏门控的 MoE 结构带来了超过 50% 的推理成本降低。

    Aug, 2023

  • AcME-AD：用于异常检测的加速模型解释

    AcME-AD 是一种基于可解释人工智能原则的新型方法，旨在提高数据异常检测模型的解释性和可靠性，通过提供本地特征重要性评分和 what-if 分析工具来揭示每个异常的因素，从而帮助解决原因分析和决策问题。

    Mar, 2024

  • MEMoE：采用专家混合适配器增强模型编辑

    MOMoE 是一种模型编辑适配器，采用专家混合（MoE）架构和知识锚定路由策略，以高效地改变大型语言模型（LLMs）的行为，并确保不对其他输入产生负面影响。实验结果表明，MOMoE 方法在整体性能和泛化能力之间展现出卓越的平衡，优于批量编辑和连续批量编辑任务。

    May, 2024

  • 增强混合专家网络的 “免疫力” 以进行对抗性防御

    我们在这项工作中提出了一种新的对抗防御方法称为 “Immunity”（基于修改的 Mixture-of-Experts（MoE）架构），通过集成随机开关门（RSGs）和创新的互信息（MI）和位置稳定性（Position Stability）损失函数，提高深度神经网络对广泛攻击的对抗鲁棒性。

    Feb, 2024

  • 基于超网络的专家混合模型用于领域泛化

    基于超网络的专家混合（MoE）方法被提出以解决域偏移问题且不需要域标签，并通过探索专家之间的低维向量相似性来共享有用的元知识，该方法在实验中表现出色，实现某些情况下的 SOTA 结果。

    Nov, 2022

  • FEAMOE: 公平、可解释和适应的专家混合模型

    本文提出了一种新颖的 “混合专家” 框架 FEAMOE，旨在学习更公平、更可解释 / 易解释的模型，能够快速适应分类器精度和公平性上的漂移，多个数据集上的实验证明了该框架无论在精度还是在公平方面都可以与神经网络相媲美，且能够快速地解释模型决策。

    Oct, 2022