ICLRJan, 2019

目标驱动机器人中从策略学习中分离特征提取：评估状态表示学习的优劣

PDF
TL;DR该论文提出了一种基于状态表示学习的方法用于实现机器人视觉控制中的高效强化学习，该方法包含多个状态表示学习方法，能够提高采样效率、提高性能、抗超参数变化，并编码所有相关特征。
发现论文，激发创造
  • 表示抽象作为强化学习智能体的激励机制：一个机器人抓取的案例研究

    选择适当的环境表示对于强化学习代理的决策过程并不总是直观的，本研究考察了不同状态表示对于激励代理解决机器人任务的影响，结果显示使用数字状态的强化学习代理与非学习基线表现相当，而使用经过预训练环境嵌入向量的图像表示的代理表现更好，推测任务特定的知识对于实现收敛和高成功率的机器人控制是必要的。

    Sep, 2023

  • 控制问题的状态表示学习综述

    综述了最近几年在机器人控制任务中，涉及环境交互的各种状态表示学习方法及其应用，并重点介绍了这些算法如何利用通用学习目标。最后，讨论了评估方法以评估所学习的表示，并总结了现有和未来的研究方向。

    Feb, 2018

  • 基于机器人先验知识的无监督状态表示学习：一个稳健性基准测试

    利用神经网络简化世界，构建机器人手臂三维位置的低维状态表示，我们在高维图像中使用先验知识的失真函数学习无监督，并通过加大图像尺寸、添加干扰项和域随机化等手段实现转移学习，检验新先验在表示的稳定性上的贡献。

    Sep, 2017

  • S-RL Toolbox: 对状态表示学习提供环境、数据集和评估指标

    本文提出一套环境、数据生成器、机器人控制任务、评估指标和工具，以促进强化学习环境下迭代状态表示学习和评估。

    Sep, 2018

  • 使用生成回放进行强化学习的连续状态表示学习

    本研究针对建立连续学习中的状态表示模型问题展开讨论，为保留过去知识的同时高效压缩感知状态信息，我们提出了使用变分自编码器（Variational Auto-Encoders）作为状态表示，并基于生成样本的生成回放（Generative Replay）技术来保持过去知识。我们还提供了一种统计意义上合理的自动环境变化检测方法。该方法不仅可提供高效的状态表示和前向传递，还可避免灾难性遗忘。最后得出的模型能够在有限系统空间内逐增学习，无需使用过去数据。

    Oct, 2018

  • 表征至关重要：提高机器人感知和探索能力

    本文在三个机器人任务中系统评估了多种常见的学习和手工工程化表示方法，并从三个方面对每种表现方法进行评估，即维度，可观测性和分离度，发现在输入代理或作为辅助任务的情况下，可以显著提高性能，并挑战了什么是控制机器人 ' 好' 表示的见解。

    Nov, 2020

  • 增强学习中的引导式表示学习

    本文研究了强化学习中的状态表示问题，发现时序差分学习与蒙特卡罗、残差梯度学习在大部分环境的特征学习上存在差异，本文提出的新的辅助学习规则在经典环境下具有较好表现。

    Jun, 2023

  • 针对连续动作空间的表示学习有助于有效的策略学习

    本文提出了一种在潜在状态和动作空间中进行高效策略学习的方法，扩展了状态表示以达到更好的策略泛化能力，同时通过将整个学习任务划分为无监督学习和强化学习来减小了训练规模。最后，在 MountainCar、CarRacing 和 Cheetah 实验中证明了该方法的有效性。

    Nov, 2022

  • 自监督学习图像嵌入以进行连续控制

    本研究探讨了完全自我监督的学习方法，基于状态达成最短时间来实现通用图像嵌入和控制基元，同时介绍了一种新的状态操作价值函数结构，建立了模型自由和模型基础方法之间的联系，并提高了学习算法的性能。三项模拟机器人任务的实验结果表明了这些发现。

    Jan, 2019

  • 无需奖励工程的端到端机器人强化学习

    本论文提出一种通过少量成功案例、以及主动请求用户进行标注来使机器人无需人工指定奖励函数以学习技能的方法，有效地避免了人工设计感知流水线或在环境中添加附加传感器等不便之处。我们通过实验验证了该方法的可行性，并证明该方法可使机器人从图像中直接学习知识，且仅需 1-4 个小时与实际世界进行交互。

    Apr, 2019