Feb, 2024

V-IRL: 将虚拟智能落地于现实生活

PDF
TL;DR开发能够在真实世界中像人类一样感知、思考和行动的 AI 代理，需要弥合数字与物理世界之间的现实差距。为此，我们引入了 V-IRL：一个使代理能够在虚拟现实环境中与真实世界进行可扩展交互的平台，旨在开发能够完成各种实际任务的代理，并以广阔的测试基地来衡量不同领域的进展，包括感知、决策和与全球真实数据的交互能力。
sensory gulfai agentsreal-world settingsrealism gapv-irl
发现论文，激发创造
  • 模仿交互智能

    通过虚拟环境中的交互式训练、行为测试和逆强化学习技术，实现了大规模人类行为模仿，提高了人工智能代理的交互能力，并成功解决了代理评估方面的挑战。

    Dec, 2020

  • 关于对称实现的出现

    人工智能（AI）已经彻底改变了人类的认知能力，并促进了能够与人类在物理和虚拟环境中进行交互的新型 AI 实体的发展。我们介绍了一个统一表示形式 —— 对称现实框架，它能包括各种物理 - 虚拟融合的形式，从而让从更广泛的角度理解 AI 实体如何与人类协作以及如何巩固不同的物理 - 虚拟整合技术路径。我们提出了一个 AI 驱动的主动辅助服务的示例，展示了对称现实系统在特定任务（如倒水）中的运作，并为不同领域的研究人员和实践者提供有益的观点和指导，从而为人工智能与人类在物理和虚拟环境中的共存的持续研究做出贡献。

    Jan, 2024

  • VRKitchen：面向任务学习的交互式 3D 虚拟环境

    通过 VRKitchen 的虚拟现实环境和集成功能，该研究使用现代人工智能方法驱动具有复杂任务能力的实体代理，使人类教师能够进行演示培训，为任务导向学习等领域的广泛应用提供了标准化的评估基准和数据收集工具。

    Mar, 2019

  • Gibson Env: 为身体化智能体提供真实世界感知

    为了解决在实际环境中开发视觉感知模型和感觉运动控制的困难和现有算法过慢，本文提出基于虚拟现实的 Gibson Virtual Environment，包含 1400 个真实环境，其中 572 个完整的建筑，其特点是可以提供真实环境的语义复杂性，并具有内部合成机制和代理的具身化机制使其遵守物理和空间的约束。

    Aug, 2018

  • 在模拟的 3D 世界中的基于场景语言学习

    通过增强和无监督学习，训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令，将语言符号与周围物理环境的感知表示和相关的行动序列联系起来，实现语言含义的压缩和提取，从而揭示出关于语言基于感知概念的本质和潜力。

    Jun, 2017

  • 虚拟现实用于理解人工智能驱动科学发现，在量子光学中的应用

    研究表明，通过将分析过程转移到沉浸式虚拟现实 (VR) 环境中，可以帮助研究人员理解由人工智能生成的解决方案，进而发现新的解释和理解实验性量子光学，并且能够加快后续的发现迭代。

    Feb, 2024

  • 多模态模拟环境下的情境化基础建设

    本文认为模拟平台使得新型的具身空间推理得以实现，它由物体和事件语义的形式化模型所促进，这使得开放式、实时环境的连续定量搜索空间变得易处理。通过示例，本文说明了一种基于语义的人工智能系统如何利用游戏引擎提供的精确数值信息来执行关于物体和事件的定性推理、从数据中学习新概念、与人类进行交流以提高其模型并展示其理解。本文认为模拟环境，特别是游戏引擎，整合了许多不同的 “模拟” 概念和许多不同的技术，为开发机器和人类智能方面的人工智能系统和工具提供了高效的平台.

    Feb, 2019

  • Agent AI：多模态交互视野调查

    多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。

    Jan, 2024

  • 远程视觉基础场景直观智能体

    本文提出了一个能够模拟人类行为的代理程序，旨在解决 REVERIE 任务，通过两个交叉模态对齐子任务的预训练阶段，即场景定位任务和对象定位任务，再结合记忆增强注意力动作解码器来生成行动序列，证明了本方法的有效性。

    Mar, 2021

  • 在众多模拟世界中扩展可指示代理

    通过在虚拟 3D 环境中训练智能代理系统，使其能够在任何 3D 环境中遵循任意语言指令，这是创建通用人工智能的关键挑战。本文介绍了 Scalable, Instructable, Multiworld Agent (SIMA) 项目，该项目通过在不同类型的虚拟 3D 环境中训练代理系统来实现此目标，并在多样化的研究环境和商业视频游戏中取得了有希望的初步结果。

    Mar, 2024