sparse mixture of experts | BriefGPT

关键词sparse mixture of experts

搜索结果 - 11

SimSMoE: 通过相似度测量解决表示崩溃问题
给定一个固定的计算负载预算，基于相似性的稀疏专家混合模型 (SimSMoE) 解决了专家之间表示崩塌问题，提升了大型语言模型的性能和可伸缩性。
PDF12 days ago
动态专家混合：高效 Transformer 模型的自动调优方法
通过引入动态的专家混合技术（DynMoE），我们的方法在视觉、语言和视觉 - 语言任务中取得了竞争性能，同时通过激活更少的参数来保持效率。
PDFa month ago
稀疏专家混合模型中扰动余弦路由器的统计优势
通过对稀疏专家混合模型中余弦路由器的计算进行全面分析，我们证明当通过添加噪声到余弦路由器中的 L2 范数来稳定余弦路由器时，无论专家的结构如何，在稀疏混合模型中估计的速度可以显著提高到多项式速度。
PDFa month ago
重新思考 LLM 语言适应：以中文 Mixtral 为案例研究
该研究通过基于稀疏专家混合（SMoE）语言模型的 Mixtral 为基础，提出了 Chinese-Mixtral 和 Chinese-Mixtral-Instruct，通过进一步的预训练和指导微调改进了中文语言能力，并证明了其在中文理解和生
PDF4 months ago
将废料转化为价值：修正 MoE 的前 k 路由器
使用 Sparse Mixture of Experts 模型以解决 top-k routing 机制的冗余计算和内存消耗问题，提出了 Rectify-Router，该方法包括 Intra-GPU Rectification 和 Fill-
PDF5 months ago
专家混合模型
引入了 Mixtral 8x7B，一种稀疏的专家混合（SMoE）语言模型，采用了与 Mistral 7B 相同的架构，每个层由 8 个前馈块（即专家）组成，并通过路由网络选择两个专家处理当前状态和组合它们的输出，最终得到使用 13B 活跃参
PDF6 months ago
稀疏通用变压器
提出了 Sparse Universal Transformer (SUT)，利用稀疏专家混合（SMoE）和基于断裂棒的动态终止机制来减少 UT 的计算复杂性，同时保持其参数效率和泛化能力。实验证明，SUT 在 WMT'14 上仅使用一半的
PDF9 months ago
ModuleFormer: 从非系统化数据中学习模块化的大型语言模型
本文提出了一种基于 Sparse Mixture of Experts (SMoE) 的新型神经网络架构 ModuleFormer，该架构可以从未加工的数据中诱导出多样性，并通过提高效率、扩展性和专业化能力，对大型预训练语言模型进行改进。
PDFa year ago
ICLR稀疏约束的最优输运
本文提出了一种新的最优输运问题方法，具有明确的基数约束，既能保证传送方案的稀疏性，又能够限制匹配的最大数量，使其在稀疏专家混合等应用中能够更好地解决计算性能问题。
PDF2 years ago
LIMoE 模型在多模态对比学习中的应用：语言 - 图像专家混合
提出了一种用于多模态学习的稀疏专家模型 LIMoE，该模型接受图像和文本，使用对比损失进行训练，并提出一种熵基准的正则化方案。LIMoE 在多个尺度上展示出优异的性能，并能够实现零样本 ImageNet 准确度的显著提高。
PDF2 years ago
稀疏专家混合模型的表示崩溃
该研究提出了一种在低维超球面上估计令牌和专家之间路由得分的方法，克服了表示塌陷问题并取得了更为一致路由的实验结果。
PDF2 years ago