Sep, 2021

离线无模型机器人强化学习工作流程

PDF
TL;DR本文提出了一种实用的线下强化学习工作流程，类似于监督学习问题的工作流程，并演示了在几个模拟机器人学习场景和两个不同真实机器人上的三个任务中，使用此工作流程在没有在线调整的情况下生成有效策略的有效性。
offline reinforcement learningroboticsmodel architecturealgorithm hyperparameterssupervised learning
发现论文，激发创造
  • 离线强化学习的极简主义方法

    通过在在线强化学习算法的策略更新中添加行为克隆项并规范化数据，在保持简单性的同时，最大限度地提高了运行效率，从而实现了与现有离线 RL 算法相当的性能。

    Jun, 2021

  • 离线强化学习实践

    此研究聚焦于离线强化学习，重点是离线学习方法的数据集属性和离线方法的成功相关性，实验证明离线 RL 的多样性和高回报的例子对于成功至关重要，并表明行为克隆仍然是竞争对手。

    Nov, 2020

  • 离线强化学习综述：分类、评估与开放性问题

    本论文提出一个在线学习和离线学习技术的归一化分类法，总结了离线 RL 领域的最新算法突破和现有基准的特性和不足，并提供了对未来研究方向的展望。

    Mar, 2022

  • 离线强化学习与人类反馈的部署

    提出一种基于人类监督的强化学习在线部署框架，包含两种方法：一是通过模型选择和上置信区间算法自适应选择候选离线强化学习模型进行部署，二是在监督信号到达时在线微调模型。通过实证验证，这些方法有效地应用于机器人运动控制和交通信号控制任务中。

    Mar, 2023

  • 离线强化学习：教程、综述和对未解决问题的展望

    介绍离线强化学习算法的研究及其面临的挑战，探讨现有方法的局限性并提出解决方案，概述该领域的最新应用及未来可能的研究方向。

    May, 2020

  • 基于模型的离线规划

    提出一种基于模型的离线学习算法 (MBOP)，其可以通过规划直接控制系统。该算法在一系列机器人任务中表现出良好性能，并能够创建零 - shot 目标条件策略。

    Aug, 2020

  • 离线强化学习作为反探索策略

    本研究提出了一种新的离线强化学习代理，将基于奖励的勘探法的探索奖励从奖励中减去，以使策略保持在数据集的支持范围内，并连接该方法到对学习策略向数据集的普遍约束的正则化，通过基于变分自动编码器的预测误差的奖励进行实例化，证明了该代理在一组连续控制运动和操作任务的状态下存在竞争力。

    Jun, 2021

  • 可执行模型：无监督离线强化学习的机器人技能

    本文提出了使用自回归进行离线机器人技能学习，并通过先前的数据学习环境的形式理解，该方法可以处理高维相机图像，可以学习到许多技能，并通过一系列技术进行训练，此方法具有较强的泛化能力，可以在多个目标之间进行目标链接，通过预训练或辅助目标学习到丰富的表示。

    Apr, 2021

  • 限数据的离线强化学习数据效率管道

    提出一种用于离线强化学习中算法和超参数自动选择的元算法，通过使用多个数据拆分来产生更可靠的算法 - 超参数选择，并在医疗保健、教育和机器人技术等各种模拟领域中比较和选择最佳策略，并输出离线策略学习算法的更高性能的策略。

    Oct, 2022

  • 使用离线数据进行高效在线强化学习

    本研究提出了一种简单的方法，利用离线数据来解决在线强化学习中的效率和探索性问题，通过对现有离线策略学习算法进行改进，得出了可以在各种竞争对手的基准测试中比现有方法提高 2.5 倍的建议。

    Feb, 2023