Jun, 2023

Sonicverse: 面向具有视听能力的智能家居代理的多感官仿真平台

PDF
TL;DRSonicverse is a multisensory simulation platform for training household agents with audio-visual perception capabilities, incorporating a new audio-visual VR interface for human-agent interaction, and includes a multi-task learning model for audio-visual navigation, achieving state-of-the-art performance, and sim-to-real transfer capability.
embodied agentsmultisensory simulationaudio-visual perceptionvr interfacesim-to-real transfer
发现论文，激发创造
  • 声音空间： 3D 环境下的音视导航

    本研究介绍了一种复杂的，声音和视觉逼真的三维环境中的音频视觉导航方法，使用多模态深度强化学习方法训练导航策略并提出了新的数据集 SoundSpaces，在现实环境中插入任意声源。研究结果表明，在三维空间中，音频对于具身视觉导航有很大的帮助，为音频视觉感知的体验机器人研究奠定了基础。

    Dec, 2019

  • 虚拟环境中的声波交互：数字孪生的自我中心声音视角

    本章旨在将与虚拟环境中声音交互相关的研究转化为一个拥有包容性视角挑战的理论框架 —— 即以听觉数字孪生体的以自我为中心的视角。在实现沉浸式音频技术的虚拟环境中，听觉数字孪生体为人类与技术之间的相互作用提供保护，重定义对于一个身临其境和连贯感官体验至关重要的所有配置。

    Apr, 2022

  • 观察，聆听和行动：走向音频视觉具身化导航

    本文描述了一种音频 - 视觉导航方案，该方案基于移动智能机器人，利用可微卷积神经网络学习视觉感知器和声音感知器，以及动态路径规划器，实现在室内环境中通过音频和视觉数据计算从机器人当前位置到声源的最短路径。

    Dec, 2019

  • SoundSpaces 2.0: 一个视听学习仿真平台

    SoundSpaces 2.0 是一个用于 3D 环境的实时几何声音渲染平台，用于生成高度逼真的声学效果以支持多种音频和视觉研究任务，并可用于普及性研究。

    Jun, 2022

  • HoME：家庭多模态环境

    介绍了 HoME：一个家庭多模态环境，其中包含超过 45,000 种基于 SUNCG 数据集的多样化 3D 房屋布局，可用于增强学习、语言链接、声音导航、机器人、多代理学习等任务，旨在实现人类学习的交互式、多模态和丰富情境化环境。

    Nov, 2017

  • Megaverse: 以每秒一百万体验模拟具身代理

    Megaverse 是一个新的 3D 模拟平台，可用于强化学习和具身智能研究，其高效的引擎设计可以在单个 8-GPU 节点上以每秒超过 1,000,000 次的速度进行基于物理的模拟，是 DeepMind Lab 的 70 倍以上，用于建立涵盖多种认知挑战的多项智能任务的基准，提供模型无关的 RL 基线并促进未来研究。

    Jul, 2021

  • 语义音视频导航

    介绍了语义音频可视化导航的概念，提出了基于 Transformer 的模型用于处理语义 AudioGoal 任务，拥有持久的多模态记忆，通过学习语义、声音和视觉提示的关联性，可实现在声音事件停止后，仍能到达目标的导航能力。

    Dec, 2020

  • 语义听觉：利用双耳听觉装置编程声音场景

    语义听觉技术使得可穿戴设备能够实时聚焦或忽略具体声音，同时保留空间线索，通过神经网络实现在干扰声和背景噪音中提取双耳目标声音，并设计一种训练方法使系统能够推广到实际环境中，实验结果表明我们的系统能够处理 20 种声音类别，并在智能手机上以 6.56 毫秒的运行时间提供双耳输出，对于未知的室内和室外场景都能提取目标音频并保留空间线索。

    Nov, 2023

  • 为虚拟现实中的对话代理赋予声音

    在虚拟现实中，通过多模式和沉浸式交互，可以极大地提升与对话代理的对话体验。本研究提出了一种开源架构，旨在简化虚拟环境中工作的对话代理的开发过程。该架构提供了将不同领域的对话代理以及自定义或基于云的语音识别和语音合成模型集成进来使交互具备语音功能的可能性。利用该架构，我们开发了两个对话原型，分别在非沉浸式显示器和虚拟现实头显中在数字健康领域运行。

    Aug, 2023

  • AVLEN: 3D 环境下语音 - 视觉 - 语言体现式导航

    AVLEN 是一种具有自主探索和人类辅助查询功能的音视频与自然语言导航机器人，通过多模态强化学习对其进行训练，实现了在语言帮助下对声音事件的模态搜索，优化了在复杂情况下的语音 - 视觉导航。

    Oct, 2022