Sep, 2023

探索稀疏 Mixture of Experts 在基于文本的图像合成中的应用

PDF
TL;DRAurora 是一种基于 GAN 的文本到图像生成器，利用一组专家进行特征处理学习，并使用稀疏路由器来选择每个特征点最合适的专家，以实现对采样随机性和文本条件的忠实解码，该模型在 64x64 图像分辨率下，使用 LAION2B-en 和 COYO-700M 数据集进行训练，在 MS COCO 上达到了 6.2 的零样本 FID 指标。
发现论文，激发创造
  • 稀疏专家混合模型的视觉扩展

    本文介绍了一种名为 Vision MoE 的稀疏版本的 Vision Transformer，在图像识别方面表现出色且需要的计算量较少。此外，本文还提出了一种路由算法的扩展来优化每个输入的处理，最终通过训练一个达到 153 亿参数的模型，V-MoE 成功实现了高度可扩展的视觉建模。

    Jun, 2021

  • 移动版 V-MoEs：通过稀疏的专家混合缩小视觉变形器

    通过使用稀疏混合专家模型将 Vision Transformers（ViTs）降低规模以适应资源受限的视觉应用，实现了性能和效率之间更好的平衡。

    Sep, 2023

  • 从稀疏到软混合专家

    通过软的 MoE 方法，我们可以在训练和推断成本上实现模型容量的扩展，解决了传统的 MoE 方法中存在的多个问题，在视觉识别任务中显著优于标准的 Transformers 和其他 MoE 变种，并且在模型规模扩展上也有良好的性能。

    Aug, 2023

  • 密集训练，稀疏推断：重思混合专家语言模型的训练

    通过采用密集计算进行训练和稀疏计算进行推理的混合密集与稀疏混合模型 (DS-MoE)，在保持性能的同时实现了强大的计算和参数效率，比标准稀疏 MoE 更具参数效率，在总参数大小和性能方面与密集模型持平，而且计算成本更低。

    Apr, 2024

  • 庞大的神经网络：稀疏门控专家混合层

    本文介绍了一种名为 Sparsely-Gated Mixture-of-Experts layer 的新型条件计算方法，通过使用该方法在语言建模和机器翻译等任务中获得比现有技术更好的结果，而只需在计算效率方面付出少量代价。

    Jan, 2017

  • ST-MoE: 设计稳定且可转移的稀疏专家模型

    本文关注自然语言处理中的训练不稳定和模型精确性问题，研究提出一种设计指南，通过将一个稀疏模型扩展到 269B 参数实现了全面的迁移学习，成为第一个在各类任务中达到最先进水平的稀疏模型 (ST-MoE-32B)。

    Feb, 2022

  • M6-T：探索稀疏专家模型及其进展

    本文研究了稀疏专家模型中的关键因素，提出了专家原型法以改善模型质量，同时将模型规模扩大到 1 万亿参数，实现了与 TPU 相同的加速。

    May, 2021

  • 基于专家乘积生成式对抗网络的多模态条件图像合成

    本研究提出了一种基于 Product-of-Experts Generative Adversarial Networks（PoE-GAN）框架的条件图像合成方法，可以在多种输入模态或其任意子集上生成图片，并通过精心设计的训练方案学习了如何以高质量和多样性生成图像。实验结果表明，PoE-GAN 不仅在以多模态输入进行条件图像合成方面取得了进步，甚至在单模态条件图像合成方面也优于现有的最佳方法。

    Dec, 2021

  • 稀疏专家混合下的视觉语言模型扩展

    本研究探讨了使用稀疏门控专家组技术解决大规模视觉语言模型训练中的挑战，并在等效计算成本下实现最先进性能的潜力，通过稀疏门控专家组对模型解释性的影响及其与 VLM 扩展计算性能之间的折衷，本文为大规模视觉语言模型的扩展提供了宝贵的洞见，并希望能够激发对 MoE 在其他多模态机器学习应用中的研究。

    Mar, 2023

  • 稠密专家混合模型的泛化误差分析：初步研究

    在这篇论文中，我们探索了稀疏专家混合模型（Sparse MoE）在各种关键因素下的泛化误差，并从经典学习理论的角度提供了如何使用稀疏性来提高混合模型泛化性能的见解。

    Mar, 2024