本文介绍了神经声学场（NAFs），一种能够捕捉声音在物理环境中传播的隐式函数表示，通过将声学传播建模为一个线性时不变系统，NAFs 能够连续地将所有发送与接收方位置匹配映射到神经脉冲响应函数，从而可以应用于任意声音，同时 NAFs 中学习到的场景结构信息能够帮助改善稀疏视图的视觉学习。

Apr, 2022

NeRAF 是一种同时学习声音和辐射场的方法，用于实现逼真的视听生成，通过 3D 场景信息将声学场与辐射场联系起来。在 SoundSpaces 数据集上，NeRAF 相比之前的方法在性能上有显著的改进，并且具有更高的数据效率，同时通过跨模态学习增强了稀疏数据训练的复杂场景的新视图合成。

May, 2024

通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

Jun, 2024

我们提出了一个名为 Real Acoustic Fields（RAF）的新数据集，其中包含了从多种模态捕获的真实声场数据。该数据集包括了与多视图图像配对的高质量密集捕获的房间脉冲响应数据，以及声音发射器和听者的精确 6DoF 姿态跟踪数据。我们利用该数据集评估了现有的新视角声学合成和脉冲响应生成方法，并提出了用于增强它们在真实世界数据上表现的设置。我们还通过实验调查了将视觉数据（图像和深度）与神经声学场模型相结合的影响。此外，我们展示了一种简单的模拟 - 真实方法的有效性，即使用模拟数据进行预训练，并用稀疏的真实数据进行微调，从而显著改善了少样本学习方法。RAF 是第一个提供了密集捕获房间声学数据的数据集，对于从事音频和音频 - 视觉神经声学场建模技术的研究人员来说，它是一个理想的资源。我们的项目页面提供演示和数据集：https:// 此处 URL

Mar, 2024

通过使用神经网络从单幅图像生成音响脉冲响应，可以模拟图片所示的空间中的混响特性，为测量空间的声学特征提供了一个更加便捷的方法。

Mar, 2021

该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

Jun, 2024

本文提出了一种新颖的框架，将物理和机器学习方法相结合，用于分析声学信号。该框架包括三种方法：用贝叶斯推断法推断谱声学特性，将神经网络配备前向和反向物理损失的神经物理模型，以及用作基准的非线性最小二乘法。推断的传播系数导致室内冲激响应（RIR）量，可用于带有不确定性的重定位。这一框架的简单和高效在模拟数据上得到了实证验证。

May, 2023

本研究提出了一种基于生成敌对网络（GAN）的结构，通过编码反射语音中的 RIR 特征并构建 RIR，使用新颖的能量衰减缓解损失来优化模型，从而提高自动语音识别（ASR）系统的性能，实验证明该模型在声学基准测试和 ASR 评估任务中都比现有模型表现更好。

Nov, 2022

本研究提出了一种新的深度场景表示方法 —— 神经反射场，该方法使用全连接的神经网络编码场景中任意 3D 点的体密度、法线和反射属性，并将其与可微分的物理模型相结合，从而能在任意视点和光照条件下渲染图像，实现高质量的视角合成和照明重建。

Aug, 2020

通过使用视觉和声音传感器数据，我们提出了一种新的任务 —— 主动声学采样，其通过移动代理在实时环境中建立环境声学模型和占据地图，以及确定最佳声学数据采样位置，从而以最少的声学样本得到高质量的环境声学模型。我们通过基于环境声学模型中的信息增益的新型强化学习奖励来训练我们的策略，在来自先进声学模拟平台的多样未知室内环境上评估，发现 ActiveRIR 优于传统导航代理、基于空间新颖性和视觉探索的方法以及现有最先进的方法。

Apr, 2024