SAM-RL: 基于可微物理仿真与渲染的感知感知模型强化学习

Oct, 2022

SAM-RL: 基于可微物理仿真与渲染的感知感知模型强化学习

SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering

Jun Lv, Yunhai Feng, Cheng Zhang, Shuang Zhao, Lin Shao...

TL;DR提出了一种基于感知的模型强化学习系统 SAM-RL，利用可微分的基于物理学的模拟和渲染自动更新模型，并通过不同的视角监测任务进程以提高样本效率，在三个机器人操作任务中进行了实际应用并证明了其有效性。

Abstract

model-based reinforcement learning (MBRL) is recognized with the potential to be significantly more sample efficient than model-free RL. How an accurate model can be developed automatically and efficiently from raw sensory inputs (such as images), especially for complex environments an

model-based reinforcement learning sensing-aware model differentiable physics-based simulation manipulation tasks sample efficiency

发现论文，激发创造

感知、想象、行动：多模态感知改进基于模型的自主竞赛强化学习

该研究提出了一种自监督传感器融合技术，将自身视觉 LiDAR 和 RGB 相机观测数据相结合，应用于模型驱动的强化学习领域，通过提高状态估计来改善其准确性，并在零样本场景下验证了其有效性。

May, 2023

基于模型的前瞻性强化学习

本论文结合模型推理控制与模型无关的深度强化学习方法，提出一种更加高效的学习框架，并在标准的连续控制基准任务中取得了与模型无关方法相当的性能表现。

Aug, 2019

Ready Policy One: 通过积极学习构建世界

本文介绍了 Ready Policy One (RP1)，将基于模型的强化学习视为一个主动学习问题，利用混合目标函数，在优化期间关键性的适应，以便在学习的不同阶段权衡奖励与探索，同时介绍了一个原则性的机制以停止样本收集。在多个连续控制任务中对方法进行了严格评估，并证明了与现有方法相比的显著增益。

Feb, 2020

基于模型的强化学习基准测试

本文为了推动模型基强化学习（Model-based Reinforcement Learning, MBRL）的研究，收集了大量 MBRL 算法，并提出了 18 个为 MBRL 特别设计的基准环境来评估这些算法，并探讨了 MBRL 算法之间的主要差异和研究挑战。

Jul, 2019

基于模型的强化学习的自我纠正模型

本文从理论角度分析了 Hallucinated Replay 方法在模型有误的情况下的强化学习效果，提出了一种新的误差界，利用这种方法使确定性 MDPs 的强化学习算法更具有鲁棒性和性能保证。

Dec, 2016

学习潜在动态健壮表示的世界模型

利用视觉模型仿真提升强化学习效果，通过空时屏蔽策略和混合循环状态空间模型来准确捕捉环境的重要特征，以提高策略的学习与表现。

May, 2024

具有动态感知的无监督技能发现

通过结合基于模型的和基于非模型的机器学习方法，本文提出了一种无监督学习算法 DADS，用于发现易于预测的行为和学习它们的动态，提高了规划算法的效率和性能。

Jul, 2019

可伸缩的多智能体模型基强化学习

本文提出了一种名为 MAMBA 的新方法，通过利用基于模型的强化学习（MBRL）进一步利用合作环境中的集中式训练，从而使代理之间的通信足以在执行阶段维持每个代理的世界模型，而虚拟推演可用于培训，从而通过减少与环境的互动次数，以与 Model-Free 的现有方法相比，在 SMAC 和 Flatland 的具有挑战性的领域中实现良好的性能。

May, 2022

和谐世界模型：提高基于模型的强化学习的样本效率

通过进行实证调查，这篇论文深入研究了世界模型中观察建模和奖励建模的作用，并发现在调和观察和奖励建模之间的干扰方面存在更高效的模型驱动强化学习的潜力。借助这些发现，提出了一种称为 Harmony World Models（HarmonyWM）的简单而有效的方法，通过引入一个轻量级的调和器来保持世界模型学习中两个任务之间的动态平衡。实验结果表明，基于 HarmonyWM 方法的基础模型驱动强化学习方法在三个视觉控制领域取得了 10% 至 55% 的绝对性能提升。

Sep, 2023

基于技能的模型驱动增强学习

本研究提出了一种基于技能空间的模型强化学习（SkiMo）框架，使用技能动力学模型来规划，以实现精确和有效的长期规划，从而使学习复杂任务变得更加高效。该框架在导航和操作领域的实验结果表明，对于模型强化学习和技能强化学习，能够扩大时间范围并提高示范效率。

Jul, 2022