Sep, 2023

使用分布式强化学习学习风险感知的四足动物运动

PDF
TL;DR通过使用分布式强化学习的风险敏感的运动训练方法，我们提出了一种在危险环境中部署的机器人能够明确建模其行为和动作风险以预防事故的方法，通过消除额外的奖励函数调整需求，实现了风险敏感的运动模式。
deploymenthazardous environmentsrisk-sensitive locomotion trainingdistributional reinforcement learningsafety
发现论文，激发创造
  • 四足行走安全强化学习

    本文提出了一种安全的强化学习框架，用于设计控制策略，以确保腿部运动的安全，同时利用无模型的强化学习进行学习任务。在此框架基础上，本文进行了四项步态运动实验，并实现了显著的提升，包括节能、稳定性和动作变化。

    Mar, 2022

  • 重新思考鲁棒性评估：基于学习的四足动力学控制器的对抗攻击

    通过串行对抗攻击来识别学习行动控制器的弱点，验证了即使是最先进的鲁棒控制器也可能在设计良好、低幅度的对抗序列下显著失败，并展示了该方法生成的结果如何用于加强原始策略并深入了解这些黑盒策略的安全性。

    May, 2024

  • 面向分布式鲁棒安全强化学习的风险规避模型不确定性

    我们提出了一个采用深度强化学习的框架，通过相干畸变风险度量考虑模型不确定性的风险规避观点，并表明我们的公式等价于具有性能和安全保障的分布鲁棒安全强化学习问题，并展示了我们框架在 Real-World 强化学习套件中各种具有安全约束的连续控制任务上产生了稳健安全的表现。

    Jan, 2023

  • 分布式鲁棒强化学习

    本文提出了一种基于风险规避的探索策略，使用分布式鲁棒策略迭代方案来确保学习过程中的安全，并在连续状态 / 操作空间中扩展了此方法，得出了分布式鲁棒软演员 - 批评家算法的实用算法。

    Feb, 2019

  • 多功能、动态和鲁棒的双足步行运动控制的强化学习

    使用深度强化学习（RL）创建动态双足机器人的运动控制器的综合研究，包括开发可用于周期性行走、跑步、跳跃和站立等一系列动态双足技能的通用控制解决方案，该 RL 控制器采用新颖的双重历史架构，通过长期和短期的输入 / 输出（I/O）历史数据有效训练，并在模拟和实际世界的各种技能中始终表现优秀。

    Jan, 2024

  • 在线风险感知适应的分布式强化学习

    介绍了一个新的框架 Distributional RL with Online Risk Adaption (DRL-ORA)，通过在线解决一个总变差最小化问题来量化随机不确定性和认识性不确定性，并通过动态选择认识性风险水平，以解决固定风险水平带来的次优性问题。

    Oct, 2023

  • 基于迭代强化学习的 Cassie 动态 locomotion 技能设计

    本文提出了一种完全重新定义奖励函数，并限制与之前迭代结果偏差的实际方法，使用一组 DASS 元组来表征政策，并与梯度更新相结合，演示了在 Cassie 二足机器人上实现不同步态风格和不同速度的稳定行走的有效性。

    Mar, 2019

  • 基于不确定性的分布离线强化学习

    提出了一种不确定性感知的离线强化学习方法，同时解决了认知不确定性和环境随机性，能够学习风险规避策略并表征折扣累积奖励的整个分布。通过在风险敏感和风险中立基准测试中进行全面实验评估，证明了其卓越的性能。

    Mar, 2024

  • 风险厌恶强化学习的分布式方法

    我们提出了一种分布式方法，用于在风险规避马尔可夫决策过程中学习最优策略，该方法使用嵌套 Kusuoka 类型条件风险映射构造的动态风险度量来评估策略表现，利用了对应动态规划原理中嵌入的某些结构，使用深度神经网络逼近值函数的条件分布，避免了探索阶段的维度灾难，并使用随机选择的一系列模型参数探索了该方法的性能。

    Feb, 2023

  • 分布式强化学习中的风险视角探析

    通过风险规划方法提高 DMIX 算法的性能，在多代理环境下进行了全面的实验，此方法可用于探索 Distributional Reinforcement Learning 中风险水平和乐观行为。

    Jun, 2022