增强机器人操作：在元世界中利用多任务强化学习和单生命强化学习的力量

Oct, 2023

增强机器人操作：在元世界中利用多任务强化学习和单生命强化学习的力量

Enhancing Robotic Manipulation: Harnessing the Power of Multi-Task Reinforcement Learning and Single Life Reinforcement Learning in Meta-World

PDF

Ghadi Nehme, Ishan Sabane, Tejas Y. Deo

TL;DR该研究旨在用多任务软演员 - 评论家算法（MT-SAC）培训机械臂，以使其能够在 Meta World 环境中成功执行七项不同任务。接下来，训练模型将作为单一生命强化学习算法的先前数据，并通过在各种目标位置（新颖位置）进行测试来评估 MT-QWALE 算法的效果。最后，通过比较经过训练的 MT-SAC 和 MT-QWALE 算法，发现 MT-QWALE 的表现更好。消融研究表明即使隐藏了最终目标位置，MT-QWALE 也能够成功地完成任务，并且所需的步骤略多。

Abstract

At present, robots typically require extensive training to successfully accomplish a single task. However, to truly enhance their usefulness in real-world scenarios, robots should possess the capability to perform multiple tasks effectively. To address this need, various multi-task reinforcement learning (RL) algorithms have been developed, including multi-t

multi-task reinforcement learning q-weighted adversarial learning meta world multi-task soft actor-critic mt-qwale algorithm

发现论文，激发创造

元世界：多任务和元强化学习的基准和评估

本文提出了一个开源的模拟基准测试，包含 50 个不同的机器人操作任务，以评估 7 种最先进的元强化学习和多任务学习算法在这些任务上的表现，发现这些算法在解决多任务时仍存在挑战，为未来的研究提供了实验环境。

Oct, 2019

通过任务特定的动作修正实现高效多任务强化学习

多任务强化学习中，通过引入任务特定的动作修正方法可以提高机器人的泛化能力，解决任务之间的冲突和负面干扰问题。该方法通过将策略学习分解为共享策略和动作修正策略，并引入稀疏奖励和拉格朗日方法，有效解决多目标多任务强化学习问题，实验结果显示其在样本效率和行为执行有效性上明显优于现有的方法。

Apr, 2024

MT-Opt: 大规模连续多任务机器人强化学习

研究一种大规模集体机器人学习系统，可以同时获取多项行为并跨越不同任务，通过 MT-Opt 来学习广泛技能，并证明其在结构相似的新任务上可以泛化并且可以通过利用过去的经验更快地获取独特的新任务，从而提高系统的性能和功能。

Apr, 2021

你只能活一次：单生强化学习

该研究提出了一种称为单次生命强化学习（SLRL）的新问题设置，探讨了在未知状态下如何适应的挑战，并使用 Q-weighted adversarial learning （QWALE）算法来应对这一挑战，该算法通过先前的经验来指导在新情况下的决策，实验结果表明优于现有方法 20-60%。

Oct, 2022

深度强化学习下的模型预测行动者 - 评论家算法：加速机器人技能获取

介绍了一种基于模型预测控制的混合模型学习和无模型学习方法，名为 MoPAC，通过探索 / 利用以减轻模型偏差，可以实现真实机器人的训练。该方法使用优化轨迹指导策略学习，并且在需要时进行探索。通过实验，MoPAC 方法优于当前最先进的方法，适用于真实机器人的训练，同时为物体夹取、操作和重新夹取等复杂任务提供了一种优化技能学习的解决方案。

Mar, 2021

可组合的深度强化学习在机器人操作中的应用

本研究探讨软 Q-learning 方法在真实世界机器人操作中的应用，证明软 Q-learning 方法比先前的模型自由深度强化学习方法具有更高的采样效率，并且可以通过将学习到的策略组合创建新的策略，从而在真实世界机器人操作中提供高效的工具。

Mar, 2018

元强化学习在模拟到真实领域适应中的应用

本论文提出了一种基于元学习的方法，在使用任务特定轨迹生成模型提供动作空间以便快速探索的同时，训练机器人智能体以适应各种动态条件，以解决现代强化学习方法低样本效率和不安全探索的问题。我们通过在仿真环境中进行域适应并分析适应过程中潜在空间的结构来评估该方法。然后，在 KUKA LBR 4 + 机器人上应用此策略，并在将曲棍球击向目标的任务中评估其性能。实验结果表明，与基准表现相比，这种方法具有更一致和稳定的域适应性，从而获得了更好的整体性能。

Sep, 2019

多任务强化学习的预测任务特定层

通过引入新的架构 Projected Task-Specific Layers (PTSL)，该论文通过使用特定任务层进行共享和可变任务信息的密集修正，从而成功地在多任务强化学习中解决了任务间的负面干扰，并在 Meta-World 的 MT10 和 MT50 基准测试中优于现有技术。

Sep, 2023

Actor-Mimic: 深度多任务和转移强化学习

本研究提出了一种名为 “Actor-Mimic” 的多任务学习和迁移学习方法，通过深度强化学习和模型压缩技术来训练一个单一的策略网络，并通过多个专家教师的指导来学习在不同任务中的行为，并使用先前的知识解决新任务。研究结果表明，该方法的表征能力可以通过无先验的专家指导来推广到新的任务并加速学习。本方法可以应用于多样的问题，为了说明其效果，我们在 Atari 游戏上进行了测试。

Nov, 2015

约束元不可知强化学习

Meta-Reinforcement Learning (Meta-RL) aims to acquire meta-knowledge for quick adaptation to diverse tasks. Our novel approach, Constraint Model Agnostic Meta Learning (C-MAML), merges meta learning with constrained optimization to enable rapid and efficient task adaptation, demonstrating effectiveness in simulated locomotion with wheeled robot tasks of varying complexity.

Jun, 2024