mixture of experts | BriefGPT

关键词mixture of experts

搜索结果 - 64

WDMoE: 无线分布式大规模语言模型与专家混合模型
基于混合专家模型 (MoE) 的无线分布式大型语言模型 (WDMoE) 通过在基站 (BS) 和移动设备的边缘服务器上协作部署大型语言模型 (LLMs)，分解其 MoE 层以充分利用分布式设备上专家网络的并行能力，并设计专家选择策略以克服无
PDF11 days ago
语言模型的混合专家用于命名实体识别
提出了一种基于 Mixture of Experts (MoE) 的强大的命名实体识别（NER）模型 BOND-MoE，通过使用多个模型在 EM 框架下进行集成，可以显著减轻噪声监督带来的问题，并引入公平分配模块来平衡文档 - 模型分配过程
PDF17 days ago
物联网车联网中混合专家模型与多模态生成 AI 的集成：综述
通过集成 Moe 和 GAI 实现 IoV 中的人工通用智能，以实现 IoV 的全面自主性，减少人类监督，并适用于广泛的机动性场景，包括环境监测、交通管理和自动驾驶。
PDF22 days ago
神经网络中的半空间特征学习
神经网络能够学习复杂的线性特征，通过深层线性门控网络（DLGN）以不同于传统线性网络和 ReLU 网络的方式来实现特征的非线性学习，并通过学习输入空间中包含目标函数平滑区域的半空间来实现特征学习。
PDFa month ago
基于提示 - 提示的专家混合模型进行高效 LLM 生成
GRIFFIN 是一种在不同非 ReLU 激活函数的大规模语言模型 (LLMs) 中选择唯一的前馈 (FE) 专家以实现高效生成的新型无需训练的 MoE 方法。
PDF2 months ago
为计算病理学系统配备工件处理管线：计算和性能权衡的展示
提出一种混合专家方案，用于从全玻片图像中检测五个显著的伪迹，其中包括受损组织、模糊、折叠组织、气泡和组织学上无关的血液，以提高计算病理学系统的可靠自动化诊断。
PDF2 months ago
利用混合专家的课程强化学习获取多样化技能
强化学习中的多样技能学习，使用混合专家方法和最大熵目标优化每个专家的上下文分布，以激励在相似情境中学习多样技能。利用基于能量的模型来表示每个专家的上下文分布，通过标准策略梯度目标有效地训练它们，进一步解决了环境未知上下文概率空间中的难以处理
PDF2 months ago
使用专家混合模型进行视频关系检测
利用混合专家方法的 MoE-VRD 在视觉关系检测中展示了较优的性能，通过条件计算和可伸缩性能显著增强了神经网络容量。
PDF2 months ago
对混合专家模型设计选择的实证理解
系统评估了混合专家模型中常见设计选择对验证性能的影响，发现了在令牌和序列层面上不同的影响。我们还提供了经验证据，表明学习路由和冻结、随机初始化的路由之间存在可比较的性能，暗示了学习路由可能并非必需。我们的研究进一步揭示了序列级路由可能导致特
PDF3 months ago
HyperMoE: 通过专家之间的迁移改进更好的专家混合
HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著
PDF3 months ago
多线性专家混合模型：通过分解实现可扩展的专家专业化
通过使用 Multilinear Mixutre of Experts (MMoE) 层来缩放专家的数量，从而实现图像模型的细粒度特化，并通过定性和定量的证据证明了其与线性层具有相当的性能，同时进一步协助修正 CelebA 属性分类中的人口
PDF3 months ago
AMEND: 长尾轨迹预测的专家混合框架
通过使用专门的专家组合和路由器网络，本研究提出了一种模块化、无模型依赖的轨迹预测框架，不仅在常见情景下取得了最新的性能，而且在长尾场景下显著提高了预测准确性。
PDF3 months ago
细粒度专家混合的比例尺定律
通过分析扩展的变量范围，我们建立了适用于细粒度混合专家模型的扩展规模定律，并利用这些规律为特定计算预算推导出最佳的训练配置，结果显示 Mixture of Experts 模型在规模和训练预算扩大时始终优于密集 Transformer 模型
PDF3 months ago
混合专家中的缓冲区溢出
混合专家模型在扩展大型基础模型的同时保持推理成本稳定方面起到关键作用。我们展示了具有跨批次依赖的专家路由策略容易受到攻击。如果恶意查询与正常查询分组在同一批次中，恶意查询可以影响模型对其他正常查询的输出。我们通过玩具实验环境中的攻击概念证明
PDF3 months ago
最小二乘估计在 Softmax 门限混合专家中的应用
在本研究中，我们探究了在数据按照回归模型进行采样的确定性混合专家模型下，最小二乘估计器（LSE）的性能，并建立了称为强可辨识性的条件，以表征不同类型的专家函数的收敛行为。我们证明了广泛使用的具有激活函数 sigmoid 和 tanh 的前馈
PDF3 months ago
FedMoE：模型异构个性化联邦学习中基于数据的个性化
通过引入混合专家方法，我们提出了一种新颖的模型异构个性化联邦学习算法（FedMoE），用于解决当前模型异构个性化联邦学习方法中的数据和模型隐私、模型性能、通信和计算成本等问题。该算法通过在本地训练过程中结合全局和本地特征来提高模型的个性化能
PDF3 months ago
通过适配器的软混合高效微调音频频谱变换器
本论文旨在探索 Mixture of Experts（MoE）在参数高效微调音频光谱变换器用于音频和语音下游任务时的应用，提出了基于适配器的软混合专家方法（Soft-MoA），通过将输入令牌和专家之间进行软分配，不仅保持了计算时间的限制，而
PDF4 months ago
多人联手绝杀一方：将 Mixture of Experts 与 MCTS 相结合以提升国际象棋
本研究采用深度学习与计算博弈相结合的新方法，通过 Mixture of Experts（MoE）方法和 Monte-Carlo Tree Search（MCTS）来提高计算机棋类游戏的表现，实验结果显示相较于传统单一模型，该综合方法显著提升
PDF4 months ago
可解释的数据驱动建模通过专家混合：朝着有效融合灰箱和黑箱模型
我们提出了一种基于 “专家混合” 的综合框架，以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型，充分利用基于原则的先验知识，我们的解决方案支持专家的独立训练，并结合了机器学习和系
PDF4 months ago
对比学习和专家混合使得向量嵌入更精确
我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著
PDF4 months ago