本研究介绍了一种复杂的，声音和视觉逼真的三维环境中的音频视觉导航方法，使用多模态深度强化学习方法训练导航策略并提出了新的数据集 SoundSpaces，在现实环境中插入任意声源。研究结果表明，在三维空间中，音频对于具身视觉导航有很大的帮助，为音频视觉感知的体验机器人研究奠定了基础。

Dec, 2019

通过 SEE-2-SOUND 引入的零样本方法，将多模式内容生成、神经生成模型和空间音频相结合，可以为高质量视频、图像和互联网动态图像生成空间音频，实现沉浸式体验。

Jun, 2024

通过从头戴式麦克风获取的音频信号和身体姿势作为输入，生成围绕发射者身体的三维声场，从而可以在三维空间的任意位置呈现空间音频。

Nov, 2023

通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

Jun, 2024

挑战性且相关的问题是在信号受限环境中实现非直视定位。本研究利用物理基础声波传播模拟和机器学习方法，在虚拟环境中定位声源到具体位置，以克服数据不足的问题，特别是在事后定位中。通过音频变换器谱图方法，我们达到了 0.786 ± 0.0136 的 F1 得分。

Apr, 2024

本文介绍了一种基于双耳声音的声音制造对象的语义标记方法，利用跨模态蒸馏框架让视觉和听觉系统相互学习，形成多任务训练网络等手段提高系统的性能。

Mar, 2020

在学习机器人任务与模拟端到端成功的基础上，视觉导航策略的转换取得了很大进展，然而，现有的声音 - 视觉导航的模拟到真实转换策略在进行数据增强时往往是经验性的，而没有对声学差异进行测量。本文提出了首个声音 - 视觉导航的模拟到真实处理方法，将其分解为声学场预测和路标导航，通过在 SoundSpaces 模拟器上验证我们的设计选择并在连续音频目标导航基准上展示改进，通过训练仅接受特定频率子带作为输入的声学场预测模型来收集真实世界数据，测量模拟与真实世界之间的频谱差异，进一步提出基于测量频谱差异和接收音频能量分布的频率自适应策略，从而改善在真实数据上的性能，最后，我们构建了一个真实的机器人平台，并展示了转化的策略能够成功导航到具有声音的对象。这项工作展示了在完全从模拟中看、听和行动的智能代理构建的潜力，并将其转移到真实世界。

May, 2024

通过使用端到端可训练的神经网络，我们的方法根据音频和 360 度视频帧的多模态分析，将由 360 度视频相机记录的单声道音频转换为空间音频，并从中分离和定位单独的声源于观看球上，因此通过我们的方法，仅使用 360 度视频和单声道音轨就可以推断声源的空间位置。

Sep, 2018

SpatialScaper 是一种用于模拟和增强 SELD 数据的库，可以通过模拟虚拟房间的参数化放置（包括移动）前景和背景声源，从而训练出具有更好性能的鲁棒 SELD 模型。

Jan, 2024

我们提出一种通过匹配实现视听知识传递的空间对齐引导模型 (distillation framework)，能够在 2D 和 3D 中使用声音进行密集的室内预测。该模型通过将音频特征与视觉连贯的可学习空间嵌入进行整合，在学生模型的多个层次中解决不一致问题。我们的方法不依赖于特定的输入表示方式，可以灵活处理不同形状或维度的输入数据，而不会影响性能表现。通过新的基准数据集 DAPS（Dense Auditory Prediction of Surroundings），我们首次在 2D 和 3D 中利用音频观测数据解决了全方位密集室内预测问题，包括基于声音的深度估计、语义分割和具有挑战性的 3D 场景重构，在各种指标和骨干架构上始终取得了最先进的性能。

Sep, 2023