计算与网络融合编排中的强化学习

Sep, 2022

计算与网络融合编排中的强化学习

Reinforcement Learning in Computing and Network Convergence Orchestration

Aidong Yang, Mohan Wu, Boquan Cheng, Xiaozhou Ye, Ye Ouyang

TL;DR本文介绍了计算与网络融合的概念，提出了基于强化学习的计算与网络编排方法，通过实验显示该方法可以比贪婪算法、随机选择和均衡资源算法实现更高的利润和更低的延迟，并证明了强化学习在计算与网络编排上的适用性。

Abstract

As computing power is becoming the core productivity of the digital economy era, the concept of computing and network convergence (CNC), under which network and computing resources can be dynamically scheduled and allocated according to users' needs, has been proposed and attracted wid

computing and network convergence orchestration reinforcement learning resource allocation network resources

发现论文，激发创造

分布式协作路由的计算与网络融合系统增效

智能应用和计算与网络融合的最新进展推动了计算和网络融合系统的发展。然而，现有研究未能实现对计算和网络资源的全面调度优化，从而导致一些计算请求的要求无法在端到端服务模式中得到保证，对计算和网络融合系统的发展产生负面影响。本文提出了一种分布式协作路由框架，用于计算和网络融合系统，以确保截止日期要求并最小化请求的计算成本。该框架包括交易平面、管理平面、控制平面和转发平面。交叉平面协作端到端路由方案在制定路由计划时考虑了异构服务器的计算效率和网络拥塞程度，从而确定在哪里执行请求和对应的路由路径。仿真结果证实了我们的路由方案在计算和网络融合系统中调度计算请求的性能。

Feb, 2024

朝着具备适应性计算和网络融合的动态未来迈进

以 6G 为背景，本文介绍了可调节性计算 - 网络融合 (Adaptable CNC) 的概念，作为一个自主的机器学习辅助机制，用于联合编排计算和网络资源，以满足动态和庞大的用户请求。

Mar, 2024

计算与网络融合的智能内源化管理平台

基于人工智能技术，本文提出了一种用于计算和网络融合的智能内生管理平台 ——CNC 大脑，通过感知、调度、适应和治理等四个关键构建模块，在整个计算和网络融合生命周期中实现高异构性的供需匹配，通过在 OpenFaas、Kubernetes 和 Microsoft Azure 的真实业务数据集上进行评估，证明了该方法在资源利用和性能方面的有效性，并提出了 CNC 大脑的未来研究方向。

Aug, 2023

多用户边缘云网络中编排深度学习推理的混合学习

通过将基于模型的强化学习和无模型强化学习相结合，我们提出了一种混合学习策略，可以加速深度学习推理编配过程中寻找最佳编配策略的过程，并在实验中表现出比基于最新强化学习方法的编排方法加速学习过程 166.6 倍的高效性。

Feb, 2022

基于强化学习的数据密集型工作流调度用于志愿者边缘云

我们提出一种基于强化学习的数据密集型科学工作流调度方法，考虑到 Volunteer Edge-Cloud 资源的分布和异构性，以确保鲁棒的资源分配。通过将问题建模为马尔可夫决策过程，并使用基于事件的异步优势演员 - 评论家强化学习方法进行求解，我们在大量模拟和实验中证明了我们的方法在满足工作流需求、满足 Volunteer Edge-Cloud 资源偏好以及有效利用资源方面的优势。

Jul, 2024

多接入边缘计算中的服务器放置和工作负载分配强化学习框架

本研究提出了一种使用强化学习解决最小化网络延迟和边缘服务器数量的问题的新 RL 框架，该问题涉及云计算、多接入边缘计算、组合优化问题和马尔可夫决策过程。

Feb, 2022

网络争用感知的集群调度策略与强化学习

通过使用强化学习，我们提出了一种新的方法，在 GPU 集群中减轻网络争用，以提高调度决策的效率，从而减少作业完成时间并降低资源利用率。

Oct, 2023

加强基于深度学习和强化学习技术的 Kubernetes 自动调度以优化大规模云计算

基于深度学习和强化学习的大规模云计算系统自动任务调度方案的研究和验证。

Feb, 2024

多资源多机器作业调度的深度强化学习

本文在最小化数据中心网络中的工作调度时间方面进行了深入研究，提出了一种基于深度强化学习的改进方法并将其扩展到多个服务器群集，结果表明，相比于传统的资源分配算法，深度强化学习方法在各种复杂环境中有着出色的性能表现。

Nov, 2017

优化联邦学习在 6G 网络的计算和网络融合中的通信效率

通过引导参与联邦学习的设备基于业务需求、资源负载、网络状况和设备的算术能力，计算和网络融合（CNC）可以提高联邦学习在复杂网络环境中的通信效率，并通过优化模型参数传输过程中的通信效率来解决复杂网络情况下的延迟分布和网络资源利用率的问题。

Nov, 2023