BriefGPT.xyz
大模型
Ask
alpha
关键词
system latency
搜索结果 - 5
基于多智能体强化学习的工业 AIGC 服务在无线边缘网络上的卸载
提出了一种基于生成模型的工业 AIGC 协同边缘学习框架，通过利用真实样本合成和基于边缘的优化功能，实现高效的少样本学习，包括多任务 AIGC 计算卸载模型和注意力增强的多智能体强化学习算法，最终实现了边缘化 AIGC 任务完成的系统延迟优
→
PDF
2 months ago
基于英特尔 GPU 的高效 LLM 推理解决方案
提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量，在 Intel GPU 上相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟
→
PDF
6 months ago
无线通信网络中加速的分裂式联邦学习
本文介绍了一种模型分区 / 切割的方法，将深度神经网络切分为两个部分，分别在设备和服务器上进行联合训练和联合推理，旨在通过交替优化解决划分点选择和带宽分配问题，以最小化系统的延迟
PDF
8 months ago
SplitNets：面向头戴系统的高效分布式计算神经网络设计
在给定的硬件资源约束下，我们设计了深度神经网络，对应的网络拆分来将 DNN 的工作负载分配到摄像头传感器和中央聚合器上的头戴设备上，以满足系统性能目标，通过 SplitNets 框架进行模型设计、拆分和通信减少，进一步扩展框架用于多视图系统
→
PDF
2 years ago
定义 AI 增强的 CAI 工具的最大可接受延迟
本研究探讨了计算机辅助口译工具的系统延迟对译员的认知影响，结果表明译员可以在 3 秒的延迟下进行同时口译，这一结果高于目前可用人工智能技术的典型延迟并为研究更高延迟的基于语境的语言模型提供了前提。
PDF
2 years ago
Prev
Next