Mar, 2017

从视频中学习社交可供性语法：将人类交互转移到人机交互

PDF
TL;DR本文介绍了一种从 RGB-D 视频中学习社交能力语法的空间时间 AND-OR 图（ST-AOG）的通用框架，并将语法传递给人形机器人，以实现人机交互的实时运动推理。通过对基于吉布斯采样的弱监督语法学习的研究，我们通过构造自动化层次互动的表示形式，同时考虑双方的长期联合子任务和个体代理的短期原子行动。基于具有丰富人际互动实例的新 RGB-D 视频数据集，我们的实验的 Baxter 模拟，人类评价和真实 Baxter 测试表明，该模型能够从有限的训练数据中成功地在看不见的情境中生成人类化的行为，并胜过了基线。
发现论文，激发创造
  • 学习人机交互的社交意涵

    本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

    Apr, 2016

  • 利用随机语法预测人类活动

    本文提出了一种新的方法来从部分观察到的 RGB-D 视频中预测未来的人类活动，使用随机语法模型来捕捉事件的组成结构，作为一个空间时间 And-Or 图 (ST-AOG)，未来的子活动通过 Earley 解析算法预测，我们通过广泛的实验验证了我们模型在语义事件标记和未来活动预测方面的有效性。

    Aug, 2017

  • 以人类视频中的操作性作为机器人的通用表现形式

    本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在 4 个现实世界环境、超过 10 种不同任务和 2 个机器人平台中展示了其效力。

    Apr, 2023

  • 从 RGB-D 视频中学习人类活动和物体可支配性

    该研究旨在利用 Markov 随机场和支持向量机算法，提取描述性标签以识别人类活动和物品仿真，并应用于机器人的辅助任务中，其准确度在 120 个视频的测试中分别为 80% (物品仿真）、64%（子活动）和 75% (高级活动）。

    Oct, 2012

  • 使用随机文法进行以人为中心的室内场景合成

    本文提出了一种以人为中心的方法来采样和合成三维房间布局和其二维图像，以获得带有完美每个像素地面真相的大规模二 / 三维图像数据。通过分布学习和采用蒙特卡罗马尔可夫链，可以采样出各种真实的房间布局，并使用视觉真实性、基于地面真实性的可负担性图的准确性以及人类主题评估的合成房间的功能性和自然性。

    Aug, 2018

  • 从人类视频中构建结构化世界模型

    我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。

    Aug, 2023

  • 基于辅助人工智能消除歧义的视觉定位实现虚实转移

    本研究介绍了一种基于模块化方法的场景感知机器人视觉定位框架，该方法通过训练每个模块来独立解析实体、属性和空间关系，并结合领域自适应技术解决常见问题。实验表明，该框架与 Sim-To-Real 实现的视觉识别方法相结合，能够提供一种数据高效、稳健且易于理解的视觉定位机器人方案。

    May, 2022

  • 指导机器人探索的视觉可供性预测

    通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

    May, 2023

  • 自然移动，灵活互动：利用场景可控生成语言引导的人体动作

    在 3D 环境中，尽管在文本到运动合成方面取得了重大进展，但仍存在许多挑战，我们通过引入一种新的两阶段框架，使用场景赋能作为中间表示，有效地链接 3D 场景定位和条件运动生成，克服了生成多模态条件信号下的人类运动困难，特别是在缺乏广泛的语言 - 场景 - 运动数据对的有限数据训练时，验证了模型的出色泛化能力。

    Mar, 2024

  • 互动机器人：在线全身动作反应合成与社会能力规范化和预测

    我们提出了一种名为在线全身动作反应合成的新任务，该任务是基于人类行为者的动作生成机器人反应。我们构建了两个数据集，分别命名为 HHI 和 CoChair，并提出了一种统一的方法，通过构建社交能力表示，预测反应的未来情景，并验证了在现有人类互动数据集 Interhuman 和 Chi3D 上的有效性。

    Dec, 2023