Nov, 2023

计算连续体中的平衡通过主动推理

PDF
TL;DR我们提出了一个协同边缘智能的框架，使各个边缘设备能够发展对如何执行其性能目标的因果理解，并将知识传递以加快异构设备的入门进程，从而增加性能目标的范围。通过合作，它们提高了性能目标的实现范围。在保证视频流媒体期间的服务质量和用户体验质量方面，我们实施了该框架并评估了一个使用案例。我们的结果显示，边缘设备仅需进行十轮训练即可确保四个性能目标；此外，底层因果结构也具有合理的可解释性。即使设备类型未知，也可以后续添加新类型的设备，该框架允许它们重复使用现有模型。最后，通过在设备集群内重新平衡负载，个别边缘设备能够将其在网络故障后的性能目标符合度从 22% 恢复到 89%。
发现论文，激发创造
  • 设计具有马尔科夫毯的可重构智能系统

    利用基于 Markov blankets 的因果关系过滤器，基于设备的分散评估和推断最优设备配置来实现计算连续系统中的服务质量目标。

    Nov, 2023

  • BCEdge：面向边缘平台的 SLO 感知自适应批处理 DNN 推理服务

    提出了一种基于学习的 BCEdge 调度框架，其对边缘平台上多个深度神经网络模型进行自适应分批和并发执行，从而实现高吞吐量和低延迟。通过最大熵深度强化学习优化批大小和并发模型数量，不仅提高了系统利用率，还较完美地满足了质量服务要求 (SLO)。

    May, 2023

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022

  • 基于软 Actor-Critic 的自适应设备 - 边缘联合推理框架

    提出了一种基于 Deep Neural Network（DNN）模型的 IoT 设备与边缘协同计算框架，通过多分支结构、智能早停、硬件中间分割与整数量化等技术实现了优秀的通信负载和执行精度平衡，结合基于 Soft Actor Critic（SAC-d）的深度强化学习优化算法实现了动态无线通道和任意 CPU 处理下的适应性支持，并在树莓派 4 和 PC 上进行了实验。

    Jan, 2022

  • 边缘上的主动推理：一个设计研究

    机器学习在分布式计算系统中被广泛应用于解释和预测行为，特别是在物联网设备产生大量数据时，通过边缘设备进行数据处理和机器学习训练。为了保证服务质量，系统通过机器学习进行监督和动态调整。然而，如果机器学习模型长时间不进行重新训练，它们可能无法准确捕捉到变量分布的渐变变化，导致对系统状态的错误预测。此外，随着预测准确度的降低，报告设备应主动解决不确定性以提高模型的精确性。脑神经科学中的主动推理（Active Inference）概念可以提供这种自主决策的能力，它描述了大脑如何不断预测和评估感觉信息以减少长期的惊奇感。我们在一个智能制造案例中实现了这些概念，通过一个单一的行动 - 感知循环实现了分布式智能体，展示了我们的主动推理代理能够在满足服务质量要求的同时快速和可追溯地解决优化问题。

    Nov, 2023

  • 只需一个队列：解决大型语言模型服务中的头部阻塞问题

    基于多模型队列管理框架 QLM，通过模型交换、请求驱逐、GPU-CPU 状态交换、负载均衡和温启动模型等方法，最大化达到 SLO 并提高吞吐量，有效解决了大语言模型的延迟挑战。

    Jun, 2024

  • 无服务器机器学习模型推理调查

    最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

    Nov, 2023

  • 推理服务系统的高精度、成本效益和低延迟的调和

    提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

    Apr, 2023

  • 基于综合视角的边缘云通信、计算与缓存

    本文研究了 5G 通信网络中通信、计算和缓存资源的联合优化，借助基于图形表示的学习方法以及创新的资源分配技术来实现将 3C 资源更靠近移动用户、实现低延迟、高可靠性服务的目标。

    Feb, 2018

  • 云网络融合 5G 以后的服务预测和编排的 QoS 感知

    本文通过引入基于 RNN 的 DDQL 技术和基于 water-filling 算法的服务放置方法，解决了网络云集成环境中的服务放置和资源分配问题，从而实现在 B5G 中动态用户、超低延迟服务的放置以及用户迁移时的服务连续性的优化。

    Sep, 2023