mixture-of-expert | BriefGPT

关键词mixture-of-expert

搜索结果 - 12

利用层次化标签分布变化进行测试无关的长尾识别
探索了测试不可知的长尾识别，通过引入多元专家模型和针对本地变异的 Dirichlet 元分布来捕捉测试标签分布的全局和局部变化，从而提高模型的泛化能力。
PDF2 months ago
Lancet: 通过整图计算 - 通信重叠加速混合专家训练
我们的研究扩展了 Mixture-of-Expert (MoE) 技术在训练过程中的重叠性挑战，并通过特定的分区和流水线技术实现了非 MoE 计算与 all-to-all 通信的重叠。我们的 Lancet 系统在自动增强 MoE 模型训练时
PDF2 months ago
面向推理最优的混合专家大语言模型
基于混合专家的大型语言模型（如最近的 Mixtral 和 DeepSeek-MoE）在规模大小上显示出巨大潜力，其训练成本不会像密集变换器那样呈二次增长。然而，我们发现增加专家的数量会导致递减收益，因此我们建议将推理效率作为模型缩放定律的指
PDF3 months ago
分支训练 MiX：将专家 LLMs 混合到一个专家混合 LLM 中
我们研究了训练大型语言模型在多个专业领域（如编码、数学推理和世界知识）中具备能力的高效方法。我们的方法名为 Branch-Train-MiX（BTX），从一个种子模型开始，在高吞吐量和减少通信成本的尴尬地并行训练专家。在专家异步训练后，BT
PDF4 months ago
混合专家解开深度强化学习的参数缩放
本文研究了监督学习、缩放定律、强化学习、专家混合和参数可扩展性，并通过实证提供了发展强化学习缩放定律的有力证据。
PDF5 months ago
MoE-Infinity: 激活感知的专家卸载以提升 MoE 服务的效率
MoE-Infinity 是一个成本高效的专家混合系统，实现了激活感知的专家卸载。通过分析序列级专家激活追踪，MoE-Infinity 执行新颖的激活感知专家预取和缓存，显著降低了通常与专家卸载相关的延迟开销，并提高了性价比。大量的集群实验
PDF5 months ago
混合专家用于开放域自适应：一种双空间检测方法
Open Set Domain Adaptation (OSDA) is addressed using a Mixture-of-Expert (MoE) framework, where Dual-Space Detection det
PDF8 months ago
利用大型预训练模型与适配器混合进行领域泛化
通过参数高效的微调方法和专家混合模型适配器，我们在不同数据分布情况下实现了优秀的性能，解决了分布转移引起的性能下降问题。
PDF9 months ago
ACL将视觉场景图转换为图像说明
本论文提出了一种新的图像 / 视频描述方法，称之为 TSG，它使用多头注意力机制 (MHA) 和混合专家解码器，将场景图转换为更具描述性的字幕，并在 MS-COCO 数据集上取得了很好的效果。
PDFa year ago
图混合专家：使用显式多样性建模在大规模图上学习
该论文引入了 Mixture-of-Expert（MoE）思想到图神经网络中，提出了一种新的 Graph Mixture of Expert（GMoE）模型，用于同时建模多样的训练图结构，通过在 OGB 基准测试中表现的提升来验证 GMoE
PDFa year ago
ICML通过专家混合训练构建神经隐式字典
该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架，通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。
PDF2 years ago
FastMoE: 快速混合专家训练系统
本文提出了基于 PyTorch 的 FastMoE 分布式混合专家 (Mixture-of-Expert) 训练系统，支持多 GPU 节点上放置不同的专家，通过高效的加速技术实现高速训练，并提供了灵活的模型设计和适应性，适用于 Transf
PDF3 years ago