基于行为约束的机器人控制 Actor-Critic 深度强化学习算法基准测试

Apr, 2023

基于行为约束的机器人控制 Actor-Critic 深度强化学习算法基准测试

Benchmarking Actor-Critic Deep Reinforcement Learning Algorithms for Robotics Control with Action Constraints

Kazumi Kasaura, Shuwa Miura, Tadashi Kozuno, Ryo Yonetani, Kenta Hoshino...

TL;DR本研究提出了一种用于评估行动受限强化学习算法的基准测试，对现有算法及其新颖变种在多个机器人控制环境下进行评估，提供了领域的第一个深入视角，并揭示了令人惊讶的见解，包括普通基准方法的有效性。我们的实验中使用的基准问题和相关代码可在 github.com/omron-sinicx/action-constrained-RL-benchmark 上获得以供进一步研究和发展。

Abstract

This study presents a benchmark for evaluating action-constrained reinforcement learning (RL) algorithms. In action-constrained RL, each a

action-constrained reinforcement learning robotics control environments algorithm evaluation baseline approach

发现论文，激发创造

RMBench：机器人操作器控制深度强化学习基准测试

本文介绍了 RMBench，这是一个用于机器人操作的基准测试，使用深度学习和强化学习算法，通过使用目标性能指标来比较算法的性能表现，研究发现，软 Actor-Critic 的表现最好，且数据增强技术有助于学习策略。

Oct, 2022

在真实世界机器人上对强化学习算法进行基准测试

通过在多个商业机器人上实施我们引入的多个强化学习任务，通过对其四种增强学习算法的学习性能进行测试并分析其对超参数的灵敏度，揭示出这些算法的实际应用性。我们发现现代学习算法对超参数非常敏感，为了获得最佳性能需要为每个任务重新调整参数。

Sep, 2018

反向受限强化学习

研究使用强化学习智能体从行为演示中学习约束以及将其迁移到具有不同形态和奖励功能的新智能体的方法，建立了能够在高维度完全无模型的情况下学习任意 Markovian 约束的框架，并且该方法与之前的工作相比，在离散设置、特定类型约束和环境转移动力学等方面表现更好。

Nov, 2020

深度强化学习在连续控制中的基准测试

研究人员结合深度学习和强化学习在连续控制领域缺失常用基准问题下设计并发布了一套基准问题和参考实现，经过系统评估发现一系列新的结果。

Apr, 2016

凸约束下的强化学习

本文提出了一种能处理一大类 RL 任务约束的算法方案，这些约束需要某些向量测量（如行动使用）的期望值位于凸集中，可以捕获以前研究的约束（如安全和接近专家），也可以实现新类别的约束（如多样性）。

Jun, 2019

多目标强化学习：挑战机器人环境与研究请求

介绍了一组具有挑战性的连续控制任务，并提出了许多改进强化学习算法的研究思路。

Feb, 2018

约束流形上的安全强化学习：理论与应用

将基于学习的技术，特别是强化学习，整合到机器人技术中来解决非结构化环境中的复杂问题很具有前景。本文展示了我们如何以原则性的方式将复杂的安全约束强加于基于学习的机器人系统中，从理论和实践的角度进行了展示。

Apr, 2024

基于视觉的机器人深度强化学习算法基准测试

本文通过比较常用强化学习算法及其变种在两个模拟视觉机器人问题中的表现，提出的策略包括提供实现 HER 算法所需中间预测目标，搭建空间和时间关注机制。结果表明，在这些环境中应用这些策略可以取得更好的结果。本文提出的基准测试方法为领域做出了新的贡献。

Jan, 2022

熟练操纵的约束强化学习

本文研究了在 24 DOF 机器人手器学习使用约束策略优化来执行对象重定位任务，并发现在学习期间添加约束能确保机器人更快达到目标点，从而使其具有更加稳健和安全的行为能力。

Jan, 2023

基于批次的深度强化学习算法基准测试

本研究在 Atari 领域中利用单个部分训练的行为策略生成的数据对最近的离线策略和批量强化学习算法的性能进行了基准测试，并发现在这些条件下，许多算法表现不佳，而 Batch-Constrained Q-learning 算法适应离散动作环境后在这项任务中表现最佳。

Oct, 2019