Aug, 2020

学习 3D 环境中互动探索的可承受性景观

PDF
TL;DR本研究利用增强学习方法，通过自主探索实现对未经探测的三维环境的机器人智能互动，其中包括对可利用对象的发现、高效自主行动的学习以及使用基于图像的可利用区域分割模型。实验表明，基于该方法的机器人可以智能地操作新的家居环境，并为进行下游任务，如 “找刀并将其放入抽屉中”，进行了充分的准备。
reinforcement learningembodied agentsaffordance landscape3d environmentinteraction tasks
发现论文，激发创造
  • 使用 Affordance Map 学习移动

    本文提出了一种基于自监督学习的模块化方法，该方法将传统的几何规划与学习空间场景表示相结合，以实现对动态对象和语义约束进行自主探索和导航。在基于 VizDoom 的仿真环境中得到了验证。

    Jan, 2020

  • 机器人操作的端到端操作能力学习

    本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

    Sep, 2022

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 使用内在动机进行层次感知发现

    本文提出了一种使用内在动机来指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务的方法。

    Sep, 2020

  • 学习人机交互的社交意涵

    本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

    Apr, 2016

  • 基于强化学习的深度机器人可供性学习的最新进展

    本文综述了近期深度机器人可支配学习 (DRAL) 的研究进展，该方法致力于开发数据驱动的方法，使用可支配性概念辅助机器人任务，对机器人任务的技术细节和局限性进行了分类和讨论，并从观察、行为、可支配性表达、数据收集和实际部署等方面总结了它们的挑战和未来方向。同时提出了一个有前途的未来方向，即将强化学习与可支配性定义相结合，以预测任意行为后果。

    Mar, 2023

  • 强化学习中的可行性原理理论

    本文提出了一种基于 Markov Decision Processes 的行动效益理论，它能够加速计划过程，同时提高学习效率和准确性，特别是在需要函数逼近的模型中。文中还介绍了一种学习行动效益的方法，并将其用于估计更简单且泛化能力更强的状态转移模型。

    Jun, 2020

  • 使用协作多智能体强化学习在触摸界面上学习 3D 导航协议

    利用强化学习算法，通过人机协作，自动学习一种新的交互协议，从而将二维触控输入映射到虚拟环境下的三维操作，防止用户学习经典的固定交互协议。此外，该方法采用变分自编码器 (VAE) 基于状态表示学习来投影手势轨迹到潜在空间中。

    Apr, 2019

  • 从游戏中学习可操作性以实现高效策略学习

    提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

    Mar, 2022