Mar, 2019

末端到端的视觉运动控制的可供性学习

PDF
TL;DR采用模块化神经网络体系结构，利用合成数据和模拟技术，通过低维潜在表示生成场景可用性，成功训练机械臂政策。同时，提出了一种数据集生成方法，可轻松推广到新任务、对象和环境，无需手动像素标记。
end-to-end deep robot policiesmodular architecturesimulationaffordancestrajectory parts
发现论文，激发创造
  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 从游戏中学习可操作性以实现高效策略学习

    提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

    Mar, 2022

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 通过想象视觉可供性学习新技能：我在这里能做什么？

    本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

    Jun, 2021

  • 深度预测策略训练采用强化学习

    通过使用深度预测策略训练框架，该研究提出了一种有效的方法来训练预测动作策略，使用合成和模拟训练样本来强制进行视觉和运动数据的抽象，以及使用策略搜索强化学习方法来训练每个任务的策略超层，该框架在 PR2 机器人上训练物体抓取和投球等技能任务，并且训练样本只使用了约 180 次实际机器人尝试，达到了很好的效果。

    Mar, 2017

  • 深度视觉动作策略的端到端训练

    该研究旨在回答：联合端到端训练感知和控制系统是否比单独训练每个组件提供更好的性能？通过使用卷积神经网络表示，并在一系列需要视觉和控制之间紧密协作的真实世界操纵任务上进行评估。

    Apr, 2015

  • 利用有损特征进行泛化：利用广泛的离线数据学习视觉运动任务

    本研究提出了基于多任务离线强化学习和亚目标规划的框架，通过先从大量数据中提取信息进行预训练，然后在视觉输入下对未知任务进行在线微调，旨在解决机器人学中多任务数据对下游任务的泛化问题。

    Oct, 2022

  • 深度 Q-Learning 机器人臂控制的 3D 模拟

    该研究旨在使用深度强化学习算法，通过在模拟环境中训练机器人臂完成定位和抓取方块的任务，进而实现在真实场景下机器人控制的无缝转移，并设计了结构化奖励函数以提高训练效率。

    Sep, 2016

  • 走向视觉功能学习：一个为功能分割和识别设定的基准

    本文介绍了一个大规模多视角 RGBD 视觉可供性学习数据集及其基准测试方法，它包含了来自 37 种对象类别、配有 15 种视觉可供性类别和 35 种杂乱 / 复杂的场景的 47210 个 RGBD 图像。我们提出了一个名为 ARNet 的【可供性识别网络】，证明了该数据集的挑战性以及提出的新的强大的可供性学习算法的明确前景。

    Mar, 2022

  • 基于端到端演示学习的基于视觉的廉价机器人多任务操作

    以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

    Jul, 2017