Oct, 2023

辅助模拟器调整 AI 基础模型的编排：一种多智能体深度强化学习方法

PDF
TL;DR本研究提出一种创新的范式，将移动边缘计算（MEC）与基础模型集成，旨在增强用户设备（UE）上的本地任务性能，该设计通过创新的仿真器 - 适配器架构将基础模型分成两个协同模块，既节省了计算资源又保证了适应性和下游任务的优化效率，并引入了一种精细调整的资源分配机制来满足分散式环境中的仿真器 - 适配器结构的需求。为应对该系统带来的挑战，采用了一种混合多智能体强化学习（DRL）策略，并通过全面的仿真和验证验证了我们方法的实用性，展示了其鲁棒性、效率和可扩展性，该工作为部署基础模型和平衡计算效率与任务能力提供了新视角。
foundation modelsmobile edge computingemulator-adapterresource allocation mechanismdeep reinforcement learning
发现论文，激发创造
  • 强化学习增强的移动边缘计算用于 6G 边缘智能

    本文综述了强化学习 - enabled 移动边缘计算在不同移动应用中的发展，并探讨了其面临的挑战和未来研究方向。

    Jan, 2022

  • 移动边缘计算中的性能优化：基于深度强化学习的方法

    本文提出了一种基于深度强化学习和马尔科夫决策过程的移动边缘计算系统中的任务卸载策略优化算法。实验结果表明，该算法相比基线策略有了显著的平均成本改善。

    Mar, 2018

  • 虚拟边缘计算系统中基于深度强化学习的计算卸载性能优化

    本文讨论了在移动网络中为实现计算任务的优化，如何通过最优计算分配策略，结合移动设备与 MEC 服务器的计算能力以及移动设备与基站之间的不同状态，达到最大化长期效益性能的效果，并利用 Q 函数分解技术与双深度 Q 网络相结合，实现了随机计算分配的学习算法。

    May, 2018

  • 移动边缘计算中基于深度强化学习的任务图离载

    通过建模任务图离线计算为马尔可夫决策过程，并设计了一种深度强化学习算法（SATA-DRL）来提供用户体验，以适应环境变化。大量模拟验证表明，SATA-DRL 在减少平均完成时间和截止时间违规方面优于现有策略。

    Sep, 2023

  • 组合式客户端 - 主节点多智能体深度强化学习在移动边缘计算中的任务卸载

    近年来，移动应用程序的爆发性增长引起了人们的关注，但用户设备在处理计算需求方面存在局限性。移动边缘计算作为应对用户设备不断增长的计算需求的一项有前途的技术，通过在用户设备和移动边缘计算服务器之间分配任务来满足用户设备的需求。深度强化学习在任务卸载问题中受到关注，因为它能够适应动态变化并减少在线计算复杂性。然而，用户设备和移动边缘计算服务器上的各种连续和离散资源约束给有效基于深度强化学习的任务卸载策略的设计带来了挑战。我们提出了一种新颖的组合客户端 - 主控深度强化学习算法（CCM_MADRL_MEC），用于移动边缘计算中的任务卸载，使得用户设备能够决定其资源需求，并使服务器基于用户设备的需求做出组合决策。CCM_MADRL_MEC 是任务卸载中首个考虑服务器存储容量以及用户设备约束的多智能体深度强化学习算法。通过利用组合动作选择，CCM_MADRL_MEC 相对于现有的多智能体深度确定性策略梯度算法和启发式算法具有更好的收敛性。

    Feb, 2024

  • 多智能体深度强化学习在多无人机辅助移动边缘计算中的轨迹规划应用

    提出一种无人机辅助的移动边缘计算框架，采用多智能体深度强化学习算法来优化无人机的轨迹，同时通过低复杂度方法优化用户设备的卸载决策。该解决方案相较于传统算法在服务用户设备公平性、无人机负载公平性和所有用户设备的能耗上性能表现较好。

    Sep, 2020

  • 移动边缘计算系统中基于深度学习的混合 5G 服务：借鉴数字孪生技术

    本论文提出了一种基于深度学习的移动边缘计算系统，旨在通过优化用户关联、资源分配和卸载概率来最小化归一化能量消耗，并考虑服务质量要求。仿真结果表明，相比现有方法，我们的方法可以实现更低的归一化能量消耗，并具有更少的计算复杂度。

    Jun, 2019

  • 分数深度强化学习用于年龄最小化的移动边缘计算

    移动边缘计算是一种有潜力的范式，用于实时应用程序，具有密集的计算需求（例如，自动驾驶），因为它可以减少处理延迟。本文关注计算密集型更新的及时性，通过信息时代（Age-of-Information）来衡量，并研究如何联合优化任务更新和离线策略以及分数形式的信息时代。我们提出了一个分数强化学习（RL）框架，并证明其收敛性。实验结果表明，与几个非分数基准相比，我们提出的算法将平均信息时代降低了高达 57.6％。

    Dec, 2023

  • 多接入边缘计算中的服务器放置和工作负载分配强化学习框架

    本研究提出了一种使用强化学习解决最小化网络延迟和边缘服务器数量的问题的新 RL 框架，该问题涉及云计算、多接入边缘计算、组合优化问题和马尔可夫决策过程。

    Feb, 2022

  • 面向移动边缘计算系统定制化 VR 服务的联合提示决策 Transformer

    该研究致力于在移动边缘计算系统中提供定制化虚拟现实服务给异构用户的资源分配。通过引入体验质量度量，考虑延迟、用户注意力水平和首选分辨率等因素，建立了一个体验质量最大化的资源分配问题，并将其作为一个强化学习问题来求解。为了学习通用策略，提出了一种结合联邦学习和基于提示的序列建模的框架，用于在所有移动边缘计算服务器上预训练一个共同的决策模型，名为 FedPromptDT。通过使用联邦学习解决了本地移动边缘计算数据不足的问题，并保护了离线训练期间的用户隐私。通过整合用户环境线索和用户首选分配的设计，提高了模型对不同用户环境的适应能力。

    Feb, 2024