Nov, 2023

逼真的日常人类活动模拟框架

HTML
PDF
TL;DR为了开发和测试与用户在家中的日常活动相互作用和适应的社交机器人Astro，需要对人类活动进行逼真的模拟。本研究提出了一个在家庭环境中大规模模拟日常人类活动模式的框架，支持手动配置不同人物或活动模式，活动时间的变化，并在多个家庭布局上进行测试。通过引入一种指定日常时间表变化的方法，并提出了一个双向约束传播算法来从模板生成时间表，我们验证了我们框架的表达能力，通过使用案例场景分析展示了我们的方法可以从三个公共数据集和一个自采集数据集中生成与人类行为非常相似的数据。我们的贡献支持规模化的社交机器人行为系统测试，实现在不同家庭中生成合成人类活动数据，有助于减少训练数据的偏见，从而提高家庭环境下机器人的鲁棒性和效果。
发现论文，激发创造
  • VirtualHome: 通过程序模拟家庭活动

    本文提出了使用程序作为表达复杂任务的高级表示，并通过游戏接口和自然语言描述或视频数据进行了学习和构建模拟环境以执行任务，这是在家庭活动建模和视频理解中具有潜在应用的研究。

    Jun, 2018

  • Habitat 2.0: 训练家居助手重新排列他们的生活空间

    介绍 Habitat 2.0(H2.0) 为一种用于在交互式 3D 环境和复杂的物理启用技术中训练虚拟机器人的仿真平台。在数据、仿真和基准任务的所有层面上都做出了全面的贡献。使用 HAB 测试移动操作能力。比较 deep RL 和 SPA 管道。发现 flat RL 与独立技能的层次结构存在 “hand-off” 问题，同时 SPA 传统管道比 RL 策略更脆弱。

    Jun, 2021

  • iGibson 2.0：面向对象的日常家务任务机器人学习仿真

    iGibson 2.0是一个开放源代码模拟环境，支持通过温度、湿度、清洁度等对象状态，实现更多样化的家庭任务模拟，并通过虚拟现实界面，收集人类示范并用于模仿学习，旨在支持更多的智能机器人领域研究。

    Aug, 2021

  • 虚拟、交互和生态环境下日常家庭活动基准测试（BEHAVIOR）

    介绍了针对仿真环境中的日常家务活动设立的 BEHAVIOR 基准，该基准涵盖 100 项活动，涉及清洁、维护和食品制备等各种方面，并使用面向对象的逻辑谓词为活动的初始条件和目标条件进行描述，提出了基于度量标准的计算方法以及一套实现该基准所需的环境，以绝对和相对于人类示范者的方式度量任务进展和效率。

    Aug, 2021

  • 通过建模动态人类需求学习模拟日常活动

    本文提出了一个基于生成对抗模仿学习的知识驱动模拟框架，以模拟人的活动，将不同需求层次进行解离，并利用神经随机微分方程成功捕捉期间连续的需求动态特征，进而增强生成活动数据的数据保真性和实用性。实验结果表明，与现有的基线算法相比，我们的框架在数据保真性和实用性上表现更佳。

    Feb, 2023

  • 使用虚拟空间合成日常活动的事件中心知识图谱

    提出VirtualHome2KG框架，在虚拟空间中生成日常生活活动的合成知识图，以分析上下文感知数据并发展传统上由于相关数据和语义信息不足而难以开发的各种应用。

    Jul, 2023

  • 基于社交动作预测的机器人交互行为生成

    在本文中，我们提出了一种在共享的人机表示空间中建模社交动作预测的方法，通过这种方法我们能够合成与人类在社交场景中相互作用的机器人动作，即使在运动训练中没有观察到任何机器人。我们开发了一种名为ECHO的基于Transformer的架构，在上述共享空间中操作来预测社交场景中遇到的个体未来动作。与先前的工作相反，我们重新制定了社交动作问题，将其视为根据周围的个体来改进预测的单个动作的问题，这有助于训练，并且在场景中只有一个人时允许进行单个动作预测。我们在多人和人机动作预测任务中评估了我们的模型，并且取得了领先的性能，而且具有高效和实时执行的特点。此外，我们的定性结果展示了我们的方法通过文本命令生成可控制的人机交互行为的有效性。

    Feb, 2024

  • BEHAVIOR-1K: 一个以人为本、具体实施的人工智能基准，涵盖1,000个日常活动和逼真的模拟

    我们提供了BEHAVIOR-1K，这是一个全面的人类中心机器人仿真基准。BEHAVIOR-1K包括两个组成部分，通过“你希望机器人为你做什么？”的广泛调查结果进行指导和激励。第一个是定义了1,000种日常活动，与50个场景（房屋、花园、餐厅、办公室等）以及超过9,000个带有丰富物理和语义属性的对象相联系。第二个是OMNIGIBSON，一种通过逼真的物理模拟和渲染刚体、可变形体和液体来支持这些活动的新型仿真环境。我们的实验表明，BEHAVIOR-1K中的活动是长期目标，并且依赖于复杂的操作技能，这对于即使是最先进的机器人学习解决方案来说仍然是一个挑战。为了校准BEHAVIOR-1K的仿真与现实之间的差距，我们提供了一个初步研究，将在模拟公寓中学习的解决方案转移到实际环境中的移动操作机器人上。我们希望BEHAVIOR-1K的以人为中心的特性、多样性和逼真性对于具体化的AI和机器人学习研究是有价值的。项目网站：https://此URL。

    Mar, 2024

  • JRDB-Social：一个用于理解社交群体内人际互动的多方面机器人数据集

    通过引入JRDB-Social数据集，本研究利用最新的多模态大语言模型来评估其解读社会人类行为能力，以加深我们对于人类社会动态在机器人应用中的理解。

    Apr, 2024

  • RoboCasa: 为通用机器人实现大规模模拟日常任务

    人工智能的近期发展大多受到规模化的推动。在机器人学中，规模化受到获取大规模机器人数据集的限制。我们提倡使用逼真的物理仿真作为扩展环境、任务和数据集以用于机器人学习方法。我们提出了一个名为RoboCasa的大规模仿真框架，用于在日常环境中训练通用型机器人。RoboCasa以厨房环境为重点，具备逼真和多样化的场景。我们提供了数千个3D物体，涵盖150多个物体类别和数十个可交互的家具和电器。我们利用生成式人工智能工具来丰富仿真的逼真度和多样性，如使用文本生成3D模型的物体和使用文本生成环境纹理的模型。我们设计了一套包含100个任务的系统评估，其中包括由大型语言模型引导生成的复合任务。为了便于学习，我们提供高质量的人类演示，并整合自动化轨迹生成方法，以最小化人力负担大幅扩展数据集。我们的实验显示，使用合成生成的机器人数据进行大规模的模仿学习呈现出明显的规模化趋势，并在利用仿真数据进行真实任务中表现出巨大潜力。视频和开源代码可在此https网址上获取。

    Jun, 2024