Oct, 2017

使用时间跳连的自监督视觉规划

PDF
TL;DR该研究旨在通过直接进行视频预测来实现自监督机器人学习，通过引入具有时间跳转连接的视频预测模型和新颖的规划准则和行动空间公式，研究表明该模型在机器人操作中具有很好的性能。
self-supervised robotic learningvideo predictioncomplex skillstemporal skip-connectionsmanipulation
发现论文，激发创造
  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • 通过重试实现鲁棒性：基于自监督学习的闭环机器人操作

    本文提出了一种方法，从原始图像观测中自动学习机器人技能，利用自主收集的经验，通过结合自监督算法对图像对准的学习和基于视频预测的控制器进行组合，能够使机器人从零开始，仅使用原始视觉输入就可以学习到复杂的行为，并进行成功的复杂操作，该方法在实验中表现出了很好的结果。

    Oct, 2018

  • 视觉先见：基于模型的深度强化学习在基于视觉的机器人控制中的应用

    本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

    Dec, 2018

  • 未来的重点：基于模型的强化学习中的自监督对应

    本文提出基于自监督视觉对应学习的模型预测方法，证明了这种方法能够在视觉学习的强化学习中实现明显的性能提升，并通过模拟实验和硬件实验的验证显示出在一些情境下，这种预测模型具有更好的泛化性能。

    Sep, 2020

  • 时间对比网络：从视频中进行自监督学习

    提出了一种自监督学习的方法，可以从多个视角拍摄的未标记视频中学习表征和机器人行为，能够用于机器人模仿人类的对象交互和身体姿势，训练该模型使用度量学习损失，使该模型能够发现在不同视角下发生变化但在时间域内不发生变化的属性，并可在强化学习算法中用作奖励函数。

    Apr, 2017

  • 教授机器人建立关于自身的仿真模型

    通过使用自我监督学习框架，我们使机器人能够只使用简短的原始视频数据来模拟和预测其形态、运动学和运动控制，从而实现了准确的运动规划和异常检测。

    Nov, 2023

  • 从游戏中学习潜在计划

    该论文提出了基于自我监督控制和玩耍数据的方法来扩大技能学习，结合自我监督控制和多样性玩耍数据集，实现了对环境中所有可用行为的连续学习，取得了在机器人桌面环境中 18 项视觉操作任务上的显著表现，同时表现出更强的抗干扰能力和重试成功的行为。

    Mar, 2019

  • 使用深度继承表示进行视觉语义规划

    本文提出了一种基于强化学习和模仿学习的视觉语义计划解决方案，使用后继表示来实现跨任务的泛化，用于预测将动态环境从初始状态转换到目标状态的操作序列，在 THOR 环境中实现了近乎最优的结果。

    May, 2017

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • 自监督适应深度神经网络实现机器人视觉操作

    使用深度强化学习隐式地在仿真环境中学习潜在的状态表示，并通过无标签的真实机器人数据将其调整到真实环境中，以实现从像素中执行操作任务。通过序列自监督目标优化对比正向动力学损失，提出了一种更加有效的方法，成功地训练基于视觉的强化学习智能体来堆叠方块。

    Oct, 2019