Mar, 2019

VRKitchen：面向任务学习的交互式 3D 虚拟环境

PDF
TL;DR通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。
task-oriented learningvirtual realityai agentsfine-grained object manipulationlearning from demonstration
发现论文，激发创造
  • VRKitchen2.0-IndoorKit: Omniverse 增强现实室内场景建模教程

    通过介绍 INDOORKIT 工具包，为研究者提供 NVIDIA OMNIVERSE 内置的工具包，以实现灵活的管道 包括室内场景的构建、场景随机化和动画控制，辅助研究者在创造实时培训和控制角色扮演和机器人方面。

    Jun, 2022

  • VRGym: 一个用于物理交互人工智能的虚拟测试平台

    提出了一个名为 VRGym 的虚拟现实测试平台，致力于构建和训练物理和交互式机器人，提供物理模拟和机器学习算法训练工具包，以支持人机交互和认知科学的实验。

    Apr, 2019

  • 虚拟现实用于理解人工智能驱动科学发现，在量子光学中的应用

    研究表明，通过将分析过程转移到沉浸式虚拟现实 (VR) 环境中，可以帮助研究人员理解由人工智能生成的解决方案，进而发现新的解释和理解实验性量子光学，并且能够加快后续的发现迭代。

    Feb, 2024

  • V-IRL: 将虚拟智能落地于现实生活

    开发能够在真实世界中像人类一样感知、思考和行动的 AI 代理，需要弥合数字与物理世界之间的现实差距。为此，我们引入了 V-IRL：一个使代理能够在虚拟现实环境中与真实世界进行可扩展交互的平台，旨在开发能够完成各种实际任务的代理，并以广阔的测试基地来衡量不同领域的进展，包括感知、决策和与全球真实数据的交互能力。

    Feb, 2024

  • 模仿交互智能

    通过虚拟环境中的交互式训练、行为测试和逆强化学习技术，实现了大规模人类行为模仿，提高了人工智能代理的交互能力，并成功解决了代理评估方面的挑战。

    Dec, 2020

  • 使用虚拟空间合成日常活动的事件中心知识图谱

    提出 VirtualHome2KG 框架，在虚拟空间中生成日常生活活动的合成知识图，以分析上下文感知数据并发展传统上由于相关数据和语义信息不足而难以开发的各种应用。

    Jul, 2023

  • 基于知识驱动的人机交互虚拟现实演示的机器人程序合成

    本文介绍了一种通过虚拟现实人类任务演示自动生成可执行机器人控制程序的系统，利用常识知识和基于游戏引擎的物理，以及自动路径规划和代码生成，实现了具有表现力和通用性的任务表示，在强力抓取和放置机器人购物助手的场景中进行了演示。

    Jun, 2023

  • 面向语义分割的视觉活动学习

    本文研究了具体化视觉主动学习任务，该任务通过选择性的视野请求注释来探索三维环境，以获取场景理解，我们通过开发一系列智能体来研究具体化视觉主动学习，其中智能体配备语义分割网络，并使用深度强化学习以及奖励函数平衡任务性能和必要注释数据请求，得到了可靠的结果。

    Dec, 2020

  • 基于虚拟现实技术的深度学习模型表示、可视化和更新工具

    我们展示了一种虚拟现实工具，利用手势和运动自动将数据输入分配到不同类别，实现了深度神经网络在透明度方面的可视化和加速了最终用户开发深度学习应用的过程。

    May, 2023

  • 一种增强现实平台，用于通过机器人向 K-12 学生介绍强化学习

    本文介绍了一个增强现实系统，使人类可以观察到机器人学习的隐藏状态，建立了人类和机器人的共同基础，并讨论了使用我们的系统在 K-12 教育活动中以及开发基于 AR 的人类循环强化学习框架的两个未来方向。

    Oct, 2021