Nov, 2023

ROSO: 通过合成观测改进机器人政策推断

PDF
TL;DR我们提出使用生成人工智能（AI）来改变推理过程中的观察，以提高预训练策略的零样本性能，并通过稳定的扩散来预处理机器人对新对象的观察，从而在未经漫长微调的情况下提高机器人的适应能力。
generative artificial intelligencezero-shot performancepre-trained policyrobotic policy inference via synthetic observations (roso)generative ai
发现论文，激发创造
  • 利用语义想象经验扩展机器人学习

    该研究提出一种基于文本至图像转换的数据扩充方法，命名为 ROSIE，通过在现有的机器人操作数据集上应用文本引导扩充数据的方法，我们可以在新的场景和任务中实现更好的机器人操作性能和鲁棒性。

    Feb, 2023

  • 学习生成增强图像用于模拟到真实场景的策略迁移

    本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

    Mar, 2019

  • 将生成模型微调作为机器人任务推理方法

    通过快速微调模型来适应生成样本与观察证据匹配是一种适用于各种深度生成模型和机器人环境的简单而通用的方法。该方法可应用于自回归模型和变分自动编码器，并在物体形状推断、逆运动学计算和点云完整性方面展现了其可用性。

    Oct, 2023

  • 通过物理理解进行即兴发挥：利用新颖物品及视觉先见的工具

    通过机器学习技术，训练视觉和物理多物互动理解的模型，并开发了一个基于样本的优化器来实现复杂的工具使用任务，实验表明目前此方法可以通过原始像素输入解决多种复杂的工具使用任务，能够感知和使用新的对象作为工具，同时根据需要灵活选择是否使用工具。

    Apr, 2019

  • 机器人的精细调整简化：自主现实世界强化学习的预训练奖励和策略

    通过使用预训练和微调范式，我们引入 RoboFuME 系统，利用网络上的数据和模型，允许机器人在几乎没有人工干预的情况下学习新任务，并通过利用校准的离线强化学习技术和预训练的视觉语言模型构建健壮的奖励分类器，在线进行微调并提供奖励信号，从而达到最小化人工干预的目标。在五个真实机器人操作任务和模拟实验中，我们的方法表现出色。

    Oct, 2023

  • 基于视觉的追逐 - 逃避机器人策略学习

    将从追逐 - 逃避互动中学习战略性机器人行为这一实际约束下的问题转化为一个监督学习问题，其中完全可观测的机器人策略为部分可观测的机器人策略生成监督信号，并发现这个监督信号的质量依赖于两个关键因素：逃避者行为的多样性与最优性的平衡以及完全可观测策略中的建模假设的强度。在野外的追逐 - 逃避互动中，我们部署了这个策略在一台带有 RGB-D 相机的四足机器人上，尽管面临各种挑战，感知限制激发了创造力：机器人在不确定时努力收集信息，从嘈杂的测量中预测意图，并为了拦截而提前预判。

    Aug, 2023

  • 通过观测映射和行为克隆的少样本策略转移框架

    通过观察映射和行为克隆，本文提出了一个针对两个领域的少样本策略传递框架，利用生成对抗网络（GANs）和循环一致性损失将源领域和目标领域之间的观察映射，并将获取的映射用于将成功的源任务行为策略克隆到目标领域，进而实现有限目标任务交互情况下和源领域与目标领域在语义上不相似的情况下的成功行为策略传递。

    Oct, 2023

  • 永远不止于学习：机器人强化学习中微调的有效性

    本论文提出了一种通过强化学习进行增量式 fine-tuning 的方法，可以有效地将图像为基础的机器人操作策略适应到新的环境、物体和感知中，在不到数据学习任务的 0.2％的情况下实现适应，这种方式可以大幅提高任务的性能表现，并且在连续学习场景下仍保持一致稳定。

    Apr, 2020

  • 深度视觉预见性规划机器人动作

    本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

    Oct, 2016

  • 家庭物品语义机器人抓取的深度物体姿态估计

    通过使用合成数据，我们提出了一种用于单个 RGB 图像的已知物体 6-DoF 姿态估计的深度神经网络训练方法，成功地跨越了所谓的现实间隙，并通过机器人进行了实时物体姿态估计，取得了与基于真实数据的深度神经网络相当的表现。

    Sep, 2018