R^3：面向自主机器人的设备端实时深度强化学习

Aug, 2023

R^3：面向自主机器人的设备端实时深度强化学习

R^3: On-device Real-Time Deep Reinforcement Learning for Autonomous Robotics

Zexin Li, Aritra Samanta, Yufei Li, Andrea Soltoggio, Hyoseung Kim...

TL;DR本文介绍了 R^3，一种用于管理实时设备上 DRL 训练中的时间、内存和算法性能的整体解决方案。R^3 通过使用动态批处理大小和高效内存管理来优化时间，通过启发式分析和动态调整内存资源预留的运行时协调器，协同解决设备上 DRL 训练中的权衡问题，并实现了在不同平台上实时应用的一致延迟性能和时间可预测性。

Abstract

autonomous robotic systems, like autonomous vehicles and robotic search and rescue, require efficient on-device training for continuous adaptation of Deep Reinforcement Learning (DRL) models in dynamic environments. This research is fundamentally motivated by the need to understand and

autonomous robotic systems on-device real-time drl training timing optimization memory management algorithm performance

发现论文，激发创造

深度强化学习在预算内的应用: 3D 控制和推理无需超级计算机

本文介绍了使用简化的三维环境 (ViZDoom) 训练智能体进行复杂推理和探索的基准方案，以提高 Deep-RL 领域的可访问性和减少对大量计算资源的需求。

Apr, 2019

VRL3: 基于数据驱动的视觉深度强化学习框架

提出了 VRL3 这一数据驱动框架，在视觉深度强化学习中取得了极高的效率，并且在手部操作任务中的样本效率比先前最先进的方法高出了 780％。VRL3 在最困难的任务中样本效率提高了 1220％（使用更宽的编码器达到 2440％）并且只需 10％的计算量就能解决该任务，这些结果清楚地证明了数据驱动深度强化学习的巨大潜力。

Feb, 2022

Re3：基于实时循环回归网络的通用物体视觉跟踪

Re3 是一款实时深度目标跟踪器，拥有轻量级的模型，通过添加时间信息到模型中来实现对待跟踪物体的鲁棒追踪，并在单向传输中同时更新外观模型，可高效地在 150 FPS 上追踪物体及应对瞬时遮挡。

May, 2017

探索实时循环学习的优缺点

本文研究了将实时递归学习和策略梯度相结合的演员 - 评论员方法在 DMLab、ProcGen 和 Atari-2600 环境中的应用，结果表明，在 DMLab 记忆任务中，我们的系统相比于训练了 10 B 帧的 IMPALA 和 R2D2 基线的系统，只需训练不到 1.2 B 个环境帧就能够达到很好的性能表现。

May, 2023

深度强化学习下的端到端赛车驾驶

本文提出了使用最新的强化学习算法进行端到端驾驶研究，仅使用来自前置摄像头的 RGB 图像，通过异步演员 - 评论家 (A3C) 框架在真实的赛车游戏中学习车辆控制，并在不同的道路结构、图形和物理特性下进行评估。结果表明本方法可以快速收敛和更稳健的驾驶，同时在看不见的赛道上和法定车速下进行了广义化证明。同时，我们的方法在实际影像序列上显示出一定的领域适应能力。

Jul, 2018

RL$^3$: 通过 RL 内外的 RL$^2$ 提升元强化学习

本文提出了一种 RL$^3$ 算法，该算法将 Task-specific action-values 作为 Traditional RL 学到的输入，并通过将 Traditional RL 和 Meta-RL 组合来在 Long-horizon 和 Out-of-distribution 任务中获得更高的累积回报。

Jun, 2023

基于数据驱动的实时高效强化学习算法的 H∞控制：应用于自动化移动出行系统

基于 Q 学习的算法解决线性离散时间系统的 H∞控制，并实现了模型无关的参数在线学习，从而将计算复杂性降低到 qu 的平方，其中 q 是状态变量、控制输入和干扰大小之和。

Sep, 2023

DR3：基于价值的深度强化学习需要明确的正则化

本研究探讨了隐式正则化在深度增强学习中的应用。我们的分析表明，隐式正则化可能会导致总体泛化性能下降和特征表示的变形。这篇论文通过提出一种基于 DR3 的新正则化方法来解决这个隐式正则化问题，并在 Atari 2600 游戏、D4RL 领域和从图像中学习的机器人操作等领域取得了良好的性能和稳定性。

Dec, 2021

绿色深度强化学习用于无线电资源管理：架构，算法压缩与挑战

本文针对 5G 及更高版本中的高复杂度无线资源管理问题，通过引入基于深度强化学习的云计算和分布式决策方案，并结合压缩算法和空间迁移学习，提出一种实现绿色深度强化学习的架构和算法，为实现绿色智能设备带来了潜在的解决方案。

Oct, 2019

DeepRacer: 自主驾驶教育赛车平台进行 Sim2Real 强化学习实验

DeepRacer 是一个用于 RL 端到端实验的平台，可以用来系统地研究智能控制系统开发中的关键挑战。该平台的应用展示了如何使用 RL 和单眼摄像头来训练 1/18 比例的小车自主学习驾驶，尤其展示出了一个能够通过使用原始相机图像观察和无模型学习方法执行鲁棒路径规划的机器人控制代理的 RL 算法。

Nov, 2019