ICLRJun, 2022

稀疏专家组合是具有领域普适性的学习器

PDF
TL;DR本文提出了一种基于视觉 Transformer 的领域泛化模型 GMoE，通过研究架构与数据集中相关性的一致性来表征网络的抗干扰性；实验表明 GMoE 使用 ERM 训练的性能大幅优于 SOTA DG 基线，并且在使用新的 DG 算法进行训练时其性能有了显著改善。
domain generalizationbackbone architecturevision transformersrobustnessgeneralizable mixture-of-experts
发现论文，激发创造
  • 基于超网络的专家混合模型用于领域泛化

    基于超网络的专家混合（MoE）方法被提出以解决域偏移问题且不需要域标签，并通过探索专家之间的低维向量相似性来共享有用的元知识，该方法在实验中表现出色，实现某些情况下的 SOTA 结果。

    Nov, 2022

  • 探索稀疏专家混合模型在多领域神经机器翻译中的潜力

    我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

    Jul, 2024

  • 基于 Transformer 混合专家模型构建强健的问答系统

    探索一种强大的问答系统的模型体系结构，其中使用了 Mixture-of-Experts 模型来训练具有更好鲁棒性的多任务学习器，该模型还使用了 DistilBERT 来生成问题向量；数据增强技术包括 Easy Data Augmentation (EDA) 和 back translation。通过这些方法，所提出的模型在严格的测试中实现了 53.477 F1 分数，比基线模型提高了 9.52％。该研究成功地证明了 Mixture-of-Expert 体系结构在 Robust QA 任务中的有效性。

    Mar, 2022

  • 利用大型预训练模型与适配器混合进行领域泛化

    通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。

    Oct, 2023

  • 领域泛化：一份调查报告

    本文综述了过去十年领域泛化方向的研究进展，包括领域泛化的定义，现有的方法和理论，并提供未来研究方向的见解和讨论。

    Mar, 2021

  • 稠密专家混合模型的泛化误差分析：初步研究

    在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

    Mar, 2024

  • 具有关联感知混合专家的通用人员重新识别

    本研究提出了一种关注不同域之间相关性的专家混合方法以提高 Domain generalizable 人物重识别的性能，利用多个来源域的数据，提取特征并将其融合，最终通过投票机制完成。实验结果表明，该方法优于现有的方法。

    May, 2021

  • 在设备上的领域泛化

    该研究对小型神经网络的领域泛化进行了系统的研究，发现知识蒸馏是处理在设备上领域泛化问题的一个更好的技术，并提出了一种称为 O​KD 的方法来进一步改进 DG 在图像和语音应用领域中的性能。

    Sep, 2022

  • 通过分离虚假因素和增强潜在相关性学习可普遍适用的模型

    通过从样本和特征角度出发，强调相关联系并消除不相关联系，我们提出了两个模块，用于提高模型的泛化能力，从而获得跨多个领域的领域不变表示，实验结果表明，嵌入这两个模块的卷积神经网络（CNNs）或多层感知机（MLPs）能够取得优秀的结果，例如在 Digits-DG 上的平均准确率为 92.30%。

    Jan, 2024

  • 混合专家中改进专家专业化能力

    本文提出一种新的 MoE 的门控网络结构，类似于注意力机制，可以在任务分解方面提高性能并导致更低的熵，同时介绍了一种新的数据驱动正则化方法，可以提高专家的专业化。

    Feb, 2023