学会运动：理解环境设计对于深度强化学习的影响

Oct, 2020

学会运动：理解环境设计对于深度强化学习的影响

Learning to Locomote: Understanding How Environment Design Matters for Deep Reinforcement Learning

Daniele Reda, Tianxin Tao, Michiel van de Panne

TL;DR本文探究了深度强化学习与基于物理原理的动画学习中的 RL 环境设计对其表现的影响及如何通过状态表示、奖励结构等因素的选择优化其效果，特别强调其对学习连续动作控制问题的应用的重要性。

Abstract

Learning to locomote is one of the most common tasks in physics-based animation and deep reinforcement learning (RL). A learned policy is the product of the problem to be solved, as embodied by the rl environment

physics-based animation deep reinforcement learning rl environment state representations continuous-action control problems

发现论文，激发创造

使用深度强化学习学习运动技能：行动空间选择的影响

本文研究了用于高维状态描述的深度强化学习，并比较了不同的动作参数表示对学习难度、策略鲁棒性、运动质量和策略查询率的影响。从多个平面关节图形和多个步态的步态循环模仿任务的结果来看，本文表明较高级别的动作参数化所提供的本地反馈可以显著影响策略的学习、鲁棒性和质量。

Nov, 2016

深度强化学习联合学习构造和控制智能体

运用深度强化学习，开发能够同时优化机器人设计和控制策略的方法，在机器人行走的场景下展示出在性能和效率方面均优于基准算法的优越性。

Jan, 2018

在复杂环境中产生运动行为

本文研究增强学习中环境对复杂行为的促进作用，通过在多个不同环境下训练代理人，使用基于前进步伐的简单奖励函数，利用可扩展的策略梯度强化学习方法，代理人可以学会奔跑、跳跃、蹲下和转弯等复杂行为而无需明确的基于奖励的指导。

Jul, 2017

学习对称和低能量行走

该论文提出了一种新颖的基于深度强化学习（DRL）方法来训练机器人的步态控制算法，并引入了一种新的课程学习方法来提供适当的物理辅助，帮助机器人保持平衡和前进。

Jan, 2018

基于模拟运动演示的机器人操纵强化学习

本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

Oct, 2019

最小人力学习在现实世界中行走

使用深度强化学习中的多任务学习技术和安全控制框架在实际机器人系统中实现了自动学习四条腿机器人在三种不同地形上的步态。

Feb, 2020

基于迭代强化学习的 Cassie 动态 locomotion 技能设计

本文提出了一种完全重新定义奖励函数，并限制与之前迭代结果偏差的实际方法，使用一组 DASS 元组来表征政策，并与梯度更新相结合，演示了在 Cassie 二足机器人上实现不同步态风格和不同速度的稳定行走的有效性。

Mar, 2019

深度强化学习下的行走学习

本文提出了一种基于最大熵强化学习的样本有效的深度强化学习算法，用于学习独立于机器人动力学模型的实际机器人行走姿势，仅需要少量试验即可。实验结果表明，我们的方法可以帮助机器人在约两个小时内直接从零开始建立稳定步态，而不需要任何模型或仿真。同时，我们展现了本算法在单个较佳超参数上实现了最先进的性能，与环境中的适度变化相容。

Dec, 2018

用深度强化学习训练机器人的方法：我们所学到的教训

本文评估了深度强化学习在现实世界机器人中的应用，包括学习知觉和运动等复杂技能的案例研究以及相关挑战。

Feb, 2021

继续学习的腿式机器人：在现实世界中微调运动策略

该论文提出了一种基于强化学习的实际机器人强化学习系统，通过在现实世界中微调机器人运动策略的少量训练，实现了 A1 四足机器人在多种环境中自主微调多种运动技能的能力。

Oct, 2021