distributed inference | BriefGPT

关键词distributed inference

搜索结果 - 11

视频∞：分布式长视频生成
在本文中，我们介绍了 Video-Infinity，它是一个分布式推理管道，能够跨多个 GPU 进行并行处理，实现长形式视频的生成。具体来说，我们提出了两个一致的机制：片段并行性和双范围注意力。这两种机制共同协作以分发工作负载并实现快速生成
PDF10 days ago
具有模型压缩的异构边缘设备上具有容错性的分布式推理
RoCoIn 是一种用于异构边缘设备上本地分布式执行深度神经网络推断任务的稳健合作推断机制，通过知识蒸馏从大型模型中学习独立而紧凑的学生模型，并以冗余方式部署和执行相同的学生模型以提高推断过程的容错性和系统响应速度。与几种基线方法相比，广泛
PDF14 days ago
边缘设备上可靠和自适应分布式推理的流体动力学 DNNs
分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm
PDF6 months ago
MM适应性 ResNet 架构用于资源受限的物联网系统中的分布式推理
本文通过实证研究，鉴定了 ResNet 中可舍弃的连接，以实现在资源不足情况下的分布式计算；同时，提出了一个多目标优化问题，旨在减少延迟、提高准确性；实验证明了自适应的 ResNet 架构可以在分布过程中减少共享数据、能耗和延迟，同时保持高
PDFa year ago
MMMultiTASC：一种面向多租户的级联 DNN 推理消费边缘调度器
本研究提出了 MultiTASC，这是一种多租户感知的调度程序，可以自适应地控制多设备中转发决策功能，以最大化系统吞吐量，同时维持高精度和低延迟。
PDFa year ago
资源受限无人机群的低延迟、高可靠卷积神经网络分布式推理
该研究提出了一种将实时请求划分为子任务，并基于可用资源在无人机群中分配的系统模型，以最小化传输延迟和提高可靠性。研究使用三个子问题来优化传输功率、无人机位置和 CNN 层数的放置，并通过模拟结果表明，该模型表现出比竞争模型更好的性能。
PDFa year ago
网络边缘分层深度学习推断的案例
本文介绍了一种新的分层推理方法（hierarchical inference），旨在解决资源受限的边缘设备上深度学习推理的精度和开销问题，同时探讨了该方法在机器故障检测和图像分类应用中的可行性和优势。
PDFa year ago
MM协同无人机和卷积网络实现高效实时图像识别
在本文中，我们提出了一种旨在将推理请求分配到资源受限的 UAV 群体的策略，该策略可在无人机上对捕获的图像进行分类，并找到最小的决策延迟，其模型被制定为一个最小化获取图像与做出最终决策之间延迟的优化问题，我们提出了一种名为 DistInfe
PDF3 years ago
MM物联网应用的普适型人工智能：资源高效分布式人工智能综述
本文综述了面向普适 AI 系统中资源调度的挑战，重点概述了分布式推断、训练和在线学习任务中的通信高效技术。
PDF3 years ago
MM移动边缘云中基于实时分布式推理的身份感知属性识别
本文提出了一种基于移动边缘云的行人属性识别和人员重识别模型，并研究了 MEC 网络中的分布式推断问题，评估结果表明，所提出的算法在准确性和延迟方面都有很大提高。
PDF4 years ago
ICML信息约束下的推断 II：通信约束和共享随机性
本文研究了分布式推理中的分布学习和身份测试问题，提出了一种使用私有硬币通信协议的普适性模拟和推断策略，并探讨了共享随机性作为一种资源的作用。设计了一种优于模拟和推断的公共硬币协议，并通过随机哈希最小化样本的卡方距离来实现分布测试。
PDF5 years ago