Aug, 2021

虚拟、交互和生态环境下日常家庭活动基准测试（BEHAVIOR）

PDF
TL;DR介绍了针对仿真环境中的日常家务活动设立的 BEHAVIOR 基准，该基准涵盖 100 项活动，涉及清洁、维护和食品制备等各种方面，并使用面向对象的逻辑谓词为活动的初始条件和目标条件进行描述，提出了基于度量标准的计算方法以及一套实现该基准所需的环境，以绝对和相对于人类示范者的方式度量任务进展和效率。
发现论文，激发创造
  • 基于模拟器的逻辑任务描述，用于评估具体化人工智能智能体的性能

    本研究探讨了如何将基于逻辑型 BEHAVIOR 活动定义转化为不同模拟器中的相对应活动作为第一步，拓展机器人在家庭任务中的应用，为此我们提出了一种适用于不同领域和场地的标准测试方法。

    Jun, 2022

  • BEHAVIOR-1K: 一个以人为本、具体实施的人工智能基准，涵盖 1,000 个日常活动和逼真的模拟

    我们提供了 BEHAVIOR-1K，这是一个全面的人类中心机器人仿真基准。BEHAVIOR-1K 包括两个组成部分，通过 “你希望机器人为你做什么？” 的广泛调查结果进行指导和激励。第一个是定义了 1,000 种日常活动，与 50 个场景（房屋、花园、餐厅、办公室等）以及超过 9,000 个带有丰富物理和语义属性的对象相联系。第二个是 OMNIGIBSON，一种通过逼真的物理模拟和渲染刚体、可变形体和液体来支持这些活动的新型仿真环境。我们的实验表明，BEHAVIOR-1K 中的活动是长期目标，并且依赖于复杂的操作技能，这对于即使是最先进的机器人学习解决方案来说仍然是一个挑战。为了校准 BEHAVIOR-1K 的仿真与现实之间的差距，我们提供了一个初步研究，将在模拟公寓中学习的解决方案转移到实际环境中的移动操作机器人上。我们希望 BEHAVIOR-1K 的以人为中心的特性、多样性和逼真性对于具体化的 AI 和机器人学习研究是有价值的。项目网站：https:// 此 URL。

    Mar, 2024

  • Mini-BEHAVIOR: 基于过程生成的长时决策机载人工智能评测基准

    我们提出了 Mini-BEHAVIOR，一个新颖的基准，用于对智能体进行理性和决策方面的挑战，以解决类似于日常人类挑战的复杂活动。Mini-BEHAVIOR 提供了一个快速、开放式的评估机制，用于评估具体决策和规划解决方案在具体化的 AI 中。

    Oct, 2023

  • 人性化的楼内实体送货基准

    我们提出了一种以人为中心的楼宇内具身交付商业场景的具体商业模拟，并开发了一个全新的虚拟环境系统，构建了一个模拟极地研究站的多层连接建筑空间，并包括具有抓取和移动能力的自主人物和机器人以及大量的交互物品。基于该环境，我们建立了一个包含 13,000 个语言指令的交付数据集，用于指导机器人提供服务。我们通过人物模拟人类行为，并对他们日常生活中的各种需求进行采样。最后，我们提出了一种以大型多模型为中心的方法，作为该数据集的基线系统。与过去的具身数据工作相比，我们的工作侧重于以人机交互为中心的商业情景下的虚拟环境。我们相信这将为具身社区带来新的视角和探索角度。

    Jun, 2024

  • VRKitchen：面向任务学习的交互式 3D 虚拟环境

    通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。

    Mar, 2019

  • 基于语言知识的家庭活动迁移学习

    此研究旨在通过迁移学习方法以及基于语言模型的状态空间共同嵌入来提高服务机器人从之前学习中寻找相似方法，以解决家庭服务机器人学习新任务精度低的问题。实验结果表明，基于语义相似性从众多源任务中选择相似任务是非常有效的，并且对于避免遗忘问题可以通过更改更新策略来解决。

    Jan, 2023

  • 使用虚拟空间合成日常活动的事件中心知识图谱

    提出 VirtualHome2KG 框架，在虚拟空间中生成日常生活活动的合成知识图，以分析上下文感知数据并发展传统上由于相关数据和语义信息不足而难以开发的各种应用。

    Jul, 2023

  • 逼真的日常人类活动模拟框架

    为了开发和测试与用户在家中的日常活动相互作用和适应的社交机器人 Astro，需要对人类活动进行逼真的模拟。本研究提出了一个在家庭环境中大规模模拟日常人类活动模式的框架，支持手动配置不同人物或活动模式，活动时间的变化，并在多个家庭布局上进行测试。通过引入一种指定日常时间表变化的方法，并提出了一个双向约束传播算法来从模板生成时间表，我们验证了我们框架的表达能力，通过使用案例场景分析展示了我们的方法可以从三个公共数据集和一个自采集数据集中生成与人类行为非常相似的数据。我们的贡献支持规模化的社交机器人行为系统测试，实现在不同家庭中生成合成人类活动数据，有助于减少训练数据的偏见，从而提高家庭环境下机器人的鲁棒性和效果。

    Nov, 2023

  • VirtualHome: 通过程序模拟家庭活动

    本文提出了使用程序作为表达复杂任务的高级表示，并通过游戏接口和自然语言描述或视频数据进行了学习和构建模拟环境以执行任务，这是在家庭活动建模和视频理解中具有潜在应用的研究。

    Jun, 2018

  • 体感人工智能综述：从模拟器到研究任务

    本文对体感式人工智能领域进行了综合系统的调查和研究，包括对九个当前体感式人工智能模拟器的评估，以及对于该领域的三项研究任务，即视觉探索、视觉导航和身体问题回答的探索，并旨在为该领域模拟器和未来方向的选择提供建议。

    Mar, 2021