Oct, 2022

MSRL: 数据流片段下的分布式强化学习

PDF
TL;DRMindSpore Reinforcement Learning (MSRL) is a distributed system that supports parallel computing on GPU clusters for Reinforcement Learning algorithms without tying the distribution strategies to algorithm implementation.
reinforcement learningdistributed systemparallel computingmindsporegpu clusters
发现论文，激发创造
  • SRL: 将分布式强化学习扩展到超过一万个核心

    本文提出了一种新的强化学习分布式系统 ReaLly Scalable RL (SRL)，其使用专门的数据流抽象来实现对不同应用的关联性规律的基础的通用培训，可实现大规模培训并获得了较高的性能。

    Jun, 2023

  • 多智能体强化学习用于微处理器设计空间探索

    本文提出了使用 Multi-Agent RL 来应对硬件体系结构搜索中领域特定定制的挑战，此方法相对于单一智能体，其可扩展性更高且运行更高效。该方法已在设计领域特定 DRAM 内存控制器上得到验证，并表现出在低功耗和延迟等不同目标方面显著优于单一代理强化学习算法，如 Proximal Policy Optimization 和 Soft Actor-Critic。

    Nov, 2022

  • Spreeze: 高吞吐并行强化学习框架

    我们提出了一种轻量级并行 RL 框架 Spreeze，它能有效利用单个桌面硬件资源接近吞吐极限，通过异步并行化经验采样、网络更新、性能评估和可视化操作，并采用多种高效数据传输技术在进程之间传输各种类型的数据，基于计算能力自动调整并行超参数以进行高效的大批量更新，进一步改进吞吐量，模拟结果表明我们的框架能以一个人的个人桌面计算机每秒 15,000 次经验采样和 370,000 次网络更新的帧速率实现，比其他主流并行 RL 框架高一个数量级，训练时间减少了 73%，充分利用单个桌面计算机的硬件资源是实现高效大规模分布式 RL 训练的基础。

    Dec, 2023

  • RLlib：分布式强化学习的抽象化

    通过采用自上而下的分层控制算法，对 RL 组件进行可组合的分布式处理，RLlib 提供可扩展的软件基元，从而将并行性和资源需求封装在短暂的计算任务中，实现高性能、可扩展性和大量代码重用的广泛算法的实现。

    Dec, 2017

  • 基于 GPU 加速的分布式强化学习机器人仿真

    使用 GPU 加速物理引擎 NVIDIA Flex 模拟机器人学习在连续控制和运动任务上表现出了极大的优势，使用少量的 CPU 与单 GPU 即可短时间内训练出高效的机器人智能。

    Oct, 2018

  • FedMRL: 数据异质感知的医学影像联邦多智能体深度强化学习

    FedMRL 是一个新颖的联邦多智能体深度强化学习框架，旨在解决联邦学习中的数据异质性问题，并通过引入公平性的损失函数和多智能体强化学习方法来提高性能，并利用自组织映射实现服务器端的自适应权重调整，以应对客户端本地数据分布的偏差。实验证明 FedMRL 在医学图像诊断方面显著优于现有技术。

    Jul, 2024

  • 学习的成本：基于学习的 RRM 的效率与功效对比（适用于 6G）

    本文介绍了动态平衡策略，旨在在云端和边缘节点之间进行数据交换并学习最有效的资源管理策略，以最大程度地减少学习过程的开销，同时尽可能地提高用户的服务质量。

    Nov, 2022

  • 绿色深度强化学习用于无线电资源管理：架构，算法压缩与挑战

    本文针对 5G 及更高版本中的高复杂度无线资源管理问题，通过引入基于深度强化学习的云计算和分布式决策方案，并结合压缩算法和空间迁移学习，提出一种实现绿色深度强化学习的架构和算法，为实现绿色智能设备带来了潜在的解决方案。

    Oct, 2019

  • 基于分布式资源感知的异构系统学习

    介绍了一种分布式训练神经网络的资源管理机制 ——DISTREAL，采用动态 dropout 机制调整每个设备的计算复杂度，通过 Pareto-optimal DSE 技术和联邦学习系统，实现了设备自主选择 dropout 向量来适应不断变化的可用资源，大幅提高了收敛速度而不损失精度。

    Dec, 2021

  • 单轨迹鲁棒分布式强化学习

    提出了分布式鲁棒 Q 学习及其平均奖励变体，且在单轨迹训练的基础上，给出了渐近收敛保证和实验验证，证明其在扰动环境下的优越性。

    Jan, 2023