routing strategy | BriefGPT

关键词routing strategy

搜索结果 - 6

基于不确定性的两层选择对大型语言模型的优化调用
通过使用仅基于小型 LLM 生成的不确定性作为决策准则，我们提出了一种简化的解决方案，该解决方案在 25 个实验设置中优于现有方法，实现了成本和性能的最佳平衡。
PDF2 months ago
学会在专业专家之间进行零 - shot 泛化中的路由
通过 PHATGOOSE 方法，我们提出一种后期自适应分词控制，以改善零样本泛化到未见任务，并发现其优于先前的方法和显式多任务训练。
PDF5 months ago
LocMoE：一种用于大型语言模型训练的低开销 MoE
通过转换部分节点间通信为节点内通信的路由策略，我们提出了一种新颖的负载均衡和局部性相结合的路由策略，并在 PanGu-Sigma 模型上进行了改进，实验证明该路由策略减少了每轮训练时间约 12.68% 至 22.24%，而不影响模型的准确性
PDF5 months ago
网络流的图神经建模
本研究基于图神经网络和边缘参数，提出了一种可优化多源汇间数据流分布和路由策略的方法，并在 17 种服务提供商拓扑和两种流路由方案的案例中得到了实质性的提升。同时，我们还发现了图结构与数据驱动流路由复杂度之间的联系。
PDF2 years ago
带有专家路由选择的专家混合模型
我们提出了一种基于专家选择的异构专家混合模型，通过让专家选择前 k 个标记来分配变量数量的专家，从而提高了训练收敛速度，并在 GLUE 基准测试中取得更高的性能。
PDF2 years ago
MM资源受限的面向服务网络的网络切片
本文采用网络虚拟化的方式，将多个按需服务指派给虚拟子网，解决如何根据预先规定的服务函数链选取网络功能节点，并确定按照指定顺序通过功能节点的路由策略的网络切片问题。通过混合二进制线性编程建模，并提出有效的算法和启发式算法对其进行求解，仿真结果
PDF7 years ago