ICMLAug, 2017

利用弱标记图像推广基于视觉的机器人技能

PDF
TL;DR研究了机器人感知运动控制策略的广义学习问题，提出了一种称为 GPLAC 的方法来提高机器人策略的泛化能力，结合多任务学习和辅助二进制分类目标，通过卷积神经网络和注意力机制，将交互数据与弱标记的数据集相结合，大大提高了对未知环境的泛化能力。
robotic sensorimotor controlgeneralizationreinforcement learningmultitask learningconvolutional neural network
发现论文，激发创造
  • GAPLE: 室内环境中机器人物体搜索的通用接近策略学习

    探讨一种可学习到的通用行动策略用于室内环境中仅通过视觉输入主动接近感兴趣的物体，提出了一种基于深度和语义分割作为策略学习模块输入的新解决方案 GAPLE，通过实证研究在 House3D 数据集上和真实世界情境中的物理平台上进行验证并提供了深入的定性分析。

    Sep, 2018

  • 一个高效的通用化视觉动作策略框架：基于控制感知增强和特权引导蒸馏

    通过数据增强来解决在学习高维视觉观察中适应新环境及复杂视觉变化所面临的泛化问题，提出了学习控制感知掩码的方法以及通过预先训练的强化学习专家将知识传输给学生视觉动作策略来解决训练不稳定性问题。

    Jan, 2024

  • 利用有损特征进行泛化：利用广泛的离线数据学习视觉运动任务

    本研究提出了基于多任务离线强化学习和亚目标规划的框架，通过先从大量数据中提取信息进行预训练，然后在视觉输入下对未知任务进行在线微调，旨在解决机器人学中多任务数据对下游任务的泛化问题。

    Oct, 2022

  • 想象目标的视觉强化学习

    介绍了一种通过结合无监督表示学习和强化学习来获得一般技能库的算法，可以处理原始感官输入（如图像），并使用后期目标重新标记方案来进一步提高其方法的样本效率，在实际机器人系统上获得了比之前的技术更好的效果。

    Jul, 2018

  • 面向通用机器人学习的深度目标中心表示

    本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

    Aug, 2017

  • 视觉先见：基于模型的深度强化学习在基于视觉的机器人控制中的应用

    本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

    Dec, 2018

  • MoVie: 基于模型的视图概括策略自适应

    本文提出了一种名为 MoVie 的视觉模型策略适应方法，通过在测试期间实现视图泛化，无需任何明确的奖励信号和任何训练期间的修改，可显著提高目标任务的性能表现，这表明该方法在实际中应用于机器人技术具有巨大的潜力。

    Jul, 2023

  • LPAC：可学习的感知 - 动作 - 交流循环及其在覆盖控制中的应用

    该研究提出了一个学习型感知 - 行动 - 通信（LPAC）架构，用于分布式机器人群控制问题，通过卷积神经网络处理感知环境、图神经网络实现机器人之间的通信和浅层多层感知器计算机器人动作，并验证该架构在覆盖控制方面超过了标准的分布式和集中式算法，表明 LPAC 架构适用于机器人群的分布式导航以实现协作行为。

    Jan, 2024

  • 认知自我：通过机器感知实现可迁移的视觉控制策略

    提出了一种基于模型的强化学习策略，通过训练可转移机器人感知的世界动力学模型和机器人特定的动力学模型，从而利用以前在其他机器人上收集的数据来减少对机器人特定数据的需求，并在模拟和实际机器人上实现了视觉控制任务上的零泛化

    Jul, 2021

  • 针对多样化视觉动作技能的强化学习和模仿学习

    该研究提出了一种模型无关的深度强化学习方法，利用少量的演示数据来协助强化学习代理。作者将该方法应用于机器人操作任务并训练了端到端的视觉 - 动力学策略，直接从 RGB 相机输入到关节速度。实验结果表明，与仅使用强化学习或模仿学习训练代理的结果相比，作者的强化和模仿代理取得了显著的性能提高。此外，这些训练有素的策略在模拟到现实世界的零样本情况下也能获得初步的成功。

    Feb, 2018