基于深度强化学习的云资源分配和功耗管理的层级框架

Mar, 2017

基于深度强化学习的云资源分配和功耗管理的层级框架

A Hierarchical Framework of Cloud Resource Allocation and Power Management Using Deep Reinforcement Learning

Ning Liu, Zhe Li, Zhiyuan Xu, Jielong Xu, Sheng Lin...

TL;DR研究提出一种基于深度强化学习的层次化框架，用于云计算系统中的资源分配和电源管理问题，采用自动编码器和权重共享结构，以解决高维状态空间问题，采用 LSTM 建模工作负载预测，并采用分布式方式操作的无模型 RL 电源管理器处理本地部分问题。

Abstract

Automatic decision-making approaches, such as reinforcement learning (RL), have been applied to (partially) solve the resource allocation problem adaptively in the →

cloud computing resource allocation power management reinforcement learning deep reinforcement learning

发现论文，激发创造

绿色深度强化学习用于无线电资源管理：架构，算法压缩与挑战

本文针对 5G 及更高版本中的高复杂度无线资源管理问题，通过引入基于深度强化学习的云计算和分布式决策方案，并结合压缩算法和空间迁移学习，提出一种实现绿色深度强化学习的架构和算法，为实现绿色智能设备带来了潜在的解决方案。

Oct, 2019

电力网络拓扑控制的分层强化学习

使用层次强化学习方法控制电网拓扑结构，通过在不同层次应用强化学习算法，实现电网操作的长期目标且在困难任务上超越其他方法。

Nov, 2023

数据中心计算节点功耗降低的性能感知增强学习方法

当 Exascale 计算成为现实时，云数据中心的计算节点能源需求将继续增长。在系统其他方面经历瓶颈时，降低硬件组件的功耗是减少能源需求的常见方法之一。然而，设计一个能够实时检测和限制功耗的资源控制器是一个复杂的问题，可能会对应用性能产生不利影响。本文中，我们探索使用强化学习（RL）设计云计算节点上的功耗限制策略，利用当前功耗和瞬时应用性能（心跳）的观测。通过将 Argo Node Resource Management（NRM）软件堆栈与 Intel Running Average Power Limit（RAPL）硬件控制机制相结合，设计一个代理程序来控制处理器的最大供电功率，而不会影响应用性能。利用 Proximal Policy Optimization（PPO）代理程序在计算节点的数学模型上学习最优策略，我们使用 STREAM 基准测试演示和评估了在实际硬件上运行的经过训练的代理程序如何通过平衡功耗和应用性能来采取行动。

Aug, 2023

基于深度强化学习的云原生无线网络资源分配

基于容器虚拟化的云原生无线网络架构，应用深度强化学习算法来监控网络状态和动态分配资源，优化了网络分片和多接入边缘计算等场景的资源分配，大幅提高了网络效率。

May, 2023

学习的成本：基于学习的 RRM 的效率与功效对比（适用于 6G）

本文介绍了动态平衡策略，旨在在云端和边缘节点之间进行数据交换并学习最有效的资源管理策略，以最大程度地减少学习过程的开销，同时尽可能地提高用户的服务质量。

Nov, 2022

一种用于最优能量储存系统调度的约束强化深度学习框架

提出了一种利用深度强化学习和混合整数规划的框架，用于优化能量储存系统的调度决策，同时严格执行操作约束，以及在存在不确定性的环境中取得高质量的调度决策。

Jul, 2023

MC-NOMA 的联合资源管理：一种深度强化学习方法

本文提出了基于深度强化学习的联合资源管理方法来应对多载波非正交多址系统中的硬件敏感性和不完美连续干扰消除，包括对子载波赋值和功率分配两个迭代子任务的决策过程。经过广泛实验验证，该方法在系统吞吐量和抗干扰能力方面较现有替代方案更加优越，并可以灵活满足用户的个性化服务要求。