mixture-of-experts | BriefGPT

关键词mixture-of-experts

搜索结果 - 116

大规模视觉语言模型中的混合专家中的令牌梯度冲突解决
使用基于令牌级梯度分析的新方法，该文章旨在解决大型视觉语言模型中令牌优化冲突的问题，并通过消除专家内部的令牌冲突来提高性能。
PDF4 days ago
大型语言模型中混合专家的更深入研究
Mixture-of-experts (MoE) 的内在机制及行为特征的初步研究表明神经元如同细粒度专家，在参数和行为特征方面带来了一些有趣的观察，为 MoE 框架和其他模块化架构的未来研究提供了启示。
PDF6 days ago
LLaMA-MoE：从 LLaMA 进行连续预训练构建混合专家系统
通过从现有的大型语言模型构建混合专家（MoE）模型，我们提出了一种从头开始训练在大规模环境下仍面临数据需求和不稳定性问题的 MoE 的方法。我们综合探索了不同的专家构建方法和各种数据采样策略，最终生成的 LLaMA-MoE 模型能够保持语言
PDF8 days ago
连续学习中的专家混合理论
混合专家（MoE）模型通过利用门控网络在多个专家之间稀疏和分配不同任务，从而有效缓解了连续学习中的灾难性遗忘问题。本文通过对过参数化线性回归任务进行理论分析，得出了 MoE 模型相对于单个专家的优势，并提供了 MoE 模型在学习性能中的影响
PDF8 days ago
GW-MoE：应用全局工作空间理论解决 MoE 路由器中的不确定性
通过使用全局工作空间理论，我们提出了 GW-MoE，一个新的微调方法，以解决 Mixture-of-Experts（MoE）模型中的不确定路由结果问题，并在不同任务和模型规模下验证其有效性。
PDF14 days ago
DeepSeek-Coder-V2: 打破代码智能中闭源模型的限制
通过深度预训练，DeepSeek-Coder-V2 在编码相关任务方面展示出了显著的先进性，并提高了其推理和总体能力
PDF15 days ago
ACL不消除而是综合：对混合专家进行事后控制以应对自然语言理解中的快捷转移
通过对混合专家的悲观聚合，可以增强模型对快捷方式分布变化的鲁棒性。
PDF15 days ago
图知识蒸馏到专家混合
通过使用一种特殊设计的学生模型（Routing-by-Memory）来解决节点分类任务中的性能问题，该模型是一种专家混合（Mixture-of-Experts），通过鼓励每个专家在隐藏表示空间的某个特定区域进行专门化，实验证明可以在多个数据
PDF15 days ago
ICML稀疏专家混合模型构建可靠的语言模型
通过 $ exttt {MoE-RBench}$ 全面评估了混合专家模型（MoE）在可靠性方面的表现，包括安全性与幻觉、对抗攻击的弹性和超域鲁棒性，并发现在适当的超参数、训练配方和推理技术下，MoE 模型的可靠性可以超过密集型大型语言模型（
PDF15 days ago
混合专家后训练量化的研究：一个基准评估
大型语言模型的研究中，Mixture-of-Experts（MoE）方法通过稀疏激活以更少的计算 FLOPs 实现了对 LLMs 的有效扩展，但是由于显著的内存开销，在直接应用于 MoE 模型时，后训练量化的常规方法效果较差。本文所做工作在
PDF20 days ago
Skywork-MoE: 混合专家语言模型培训技术的深入研究
在本研究中，我们介绍了 Skywork-MoE 的训练方法，它是一个具有 1460 亿参数和 16 个专家的高性能混合专家（MoE）大型语言模型（LLM），它是从我们的 Skywork-13B 模型的预先存在的密集检查点初始化的。我们对再利
PDFa month ago
MoNDE: 大规模稀疏模型的近数据专家混合
提出了一种近数据计算解决方案 MoNDE，通过仅传输热门专家到 GPU，将专家参数的传输转换为小型激活的传输，从而实现更高效的 MoE 推断，对于编码器和解码器操作都能实现显著加速。
PDFa month ago
LoRA-Switch: 动态 LLM 适配器的系统算法协同优化
在这篇论文中，我们提出了 LoRA-Switch，这是一种用于高效动态适配器的系统算法协同设计架构。通过在推理过程中优化了 CUDA 内核并融合了所有 LoRA 适配器的合并操作，我们的方法在保持了现有动态适配器类似准确性提升的同时，将解码
PDFa month ago
LocMoE+：增强型路由器具有令牌特征感知的高效 LLM 预训练
LocMoE + 是低成本的改进版本，通过量化和定义专家和令牌之间的关联性、实施全局级自适应路由策略以重新排列令牌以及重新估计专家容量的下限来解决 Mixture-of-Experts 架构中存在的问题，验证实验结果显示，每个专家处理的令牌
PDFa month ago
LLM 训练中 MoE 和密集速度 - 准确性比较的再审视
通过使用步进时间作为模型复杂度的更准确评估指标以及在 Chinchilla 计算最优设置下确定总计算预算，本研究重新审视了 Mixture-of-Experts（MoE）与密集模型之间的比较设置，并采用了 3D 分片方法来有效地运行 MoE
PDFa month ago
未选择的专家也能贡献：通过自对比释放 MoE 模型的力量
基于 Mixture-of-Experts 和 SCMoE 的推理能力在不同领域中得到了提升。
PDFa month ago
通过合并专家在专家混合中学习更广义的专家
通过在混合专家中引入共享层，我们观察到性能下降。为了解决这个问题，我们跟踪每个专家的使用频率并合并两个最常选择的专家，然后使用专家组合来更新最不常选择的专家。结合后续的路由器专家选择学习，我们的算法在多领域任务增量学习中提高了迁移学习并缓解
PDFa month ago
EWMoE：基于混合专家的全球气象预报的有效模型
在本文中，我们提出了 EWMoE 模型，它是一种能够准确预测全球天气的有效模型，它只需要较少的训练数据和计算资源，并利用 Meteorology-specific embedding、核心 Mixture-of-Experts (MoE)
PDF2 months ago
CuMo：多模态 LLM 与协同升级混合专家的扩展
CuMo 是一种在多模态大型语言模型上通过使用混合专家模块来提高模型性能的方法，其在可扩展性和推理成本方面的优势使其在各种可视问答和视觉指令遵循基准上超越了现有的多模态语言模型。
PDF2 months ago
DeepSeek-V2: 一种强大、经济高效的专家混合语言模型
DeepSeek-V2 是一种经济高效的 Mixture-of-Experts（MoE）语言模型，具有 236B 总参数，支持 128K tokens 的上下文长度。通过创新的架构，如 Multi-head Latent Attention
PDF2 months ago