Sep, 2023

表示抽象作为强化学习智能体的激励机制：一个机器人抓取的案例研究

PDF
TL;DR选择适当的环境表示对于强化学习代理的决策过程并不总是直观的，本研究考察了不同状态表示对于激励代理解决机器人任务的影响，结果显示使用数字状态的强化学习代理与非学习基线表现相当，而使用经过预训练环境嵌入向量的图像表示的代理表现更好，推测任务特定的知识对于实现收敛和高成功率的机器人控制是必要的。
reinforcement learningstate representationrobotic tasknumerical statesimage-based representations
发现论文，激发创造
  • 表征至关重要：提高机器人感知和探索能力

    本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

    Nov, 2020

  • 基于强化学习的物体几何形态高效表征与互动抓取策略学习

    本文提出一种基于强化学习的框架，通过连续地控制一个类人机械手，学习各种几何不同的实际物体的交互抓取。该框架在物体几何的显式表示方面进行了探索，并且通过符号距离隐式地指导搜索，最终表现出在更具挑战性的条件下学习的能力。

    Nov, 2022

  • 学习用于规划的抽象且可迁移的表示

    该论文提出了一个框架来自我学习代理环境的状态抽象，这些抽象是任务无关的可重用的，从而显著提高了学习效率和代理任务解决的能力。

    May, 2022

  • 目标驱动机器人中从策略学习中分离特征提取：评估状态表示学习的优劣

    该论文提出了一种基于状态表示学习的方法用于实现机器人视觉控制中的高效强化学习，该方法包含多个状态表示学习方法，能够提高采样效率、提高性能、抗超参数变化，并编码所有相关特征。

    Jan, 2019

  • 控制问题的状态表示学习综述

    综述了最近几年在机器人控制任务中，涉及环境交互的各种状态表示学习方法及其应用，并重点介绍了这些算法如何利用通用学习目标。最后，讨论了评估方法以评估所学习的表示，并总结了现有和未来的研究方向。

    Feb, 2018

  • 通过解耦环境和代理的表示实现高效强化学习

    提出了一种利用机器代理的视觉知识学习结构化表示的强化学习算法，并通过辅助损失函数将其融入强化学习目标，在包括 5 种不同机器人的 18 个具有挑战性的可视化仿真环境中，我们的方法比现有的无模型方法表现更好。

    Sep, 2023

  • 强化学习的动作表示学习

    研究了在没有给定先验结构的情况下，如何基于状态表示和行为表示实现模型无关的强化学习方法，并提供了相应的算法和收敛条件。

    Feb, 2019

  • 基于机器人先验知识的无监督状态表示学习：一个稳健性基准测试

    利用神经网络简化世界，构建机器人手臂三维位置的低维状态表示，我们在高维图像中使用先验知识的失真函数学习无监督，并通过加大图像尺寸、添加干扰项和域随机化等手段实现转移学习，检验新先验在表示的稳定性上的贡献。

    Sep, 2017

  • 强化学习中的局部约束表达

    本文提出一种局部约束表示法，通过对环境观测状态的预测及邻近状态的表示作为辅助损失，将强化学习中的表示与任务相分离，可以提高泛化能力，有效应用于连续控制任务中。

    Sep, 2022

  • 比较强化学习表征学习的辅助任务

    生成表示在强化学习中得到了稳步流行，由于其在提高样本效率和许多环境中的回报方面的潜力。本文对常见的辅助任务进行了比较，基于数百个使用最先进的离策略强化学习算法训练的代理程序。发现显示，辅助任务的表示学习对于维度和复杂度较高的环境是有利的，并且学习环境动态性胜于预测奖励。我们相信这些洞察将使其他研究人员能够更明智地决定如何利用表示学习解决他们的特定问题。

    Oct, 2023