学习神经声场

Apr, 2022

Learning Neural Acoustic Fields

Andrew Luo, Yilun Du, Michael J. Tarr, Joshua B. Tenenbaum, Antonio Torralba...

TL;DR本文介绍了神经声学场（NAFs），一种能够捕捉声音在物理环境中传播的隐式函数表示，通过将声学传播建模为一个线性时不变系统，NAFs 能够连续地将所有发送与接收方位置匹配映射到神经脉冲响应函数，从而可以应用于任意声音，同时 NAFs 中学习到的场景结构信息能够帮助改善稀疏视图的视觉学习。

Abstract

Our environment is filled with rich and dynamic acoustic information. When we walk into a cathedral, the reverberations as much as appearance inform us of the sanctuary's wide open space. Similarly, as an object moves around us, we expect the sound emitted to also exhibit this movement. While recent advances in learned implicit functions have led to increasi

neural acoustic fields spatial auditory representations acoustic propagation visual learning scene structure

发现论文，激发创造

NeRAF：三维场景中嵌入的神经辐射和声场

NeRAF 是一种同时学习声音和辐射场的方法，用于实现逼真的视听生成，通过 3D 场景信息将声学场与辐射场联系起来。在 SoundSpaces 数据集上，NeRAF 相比之前的方法在性能上有显著的改进，并且具有更高的数据效率，同时通过跨模态学习增强了稀疏数据训练的复杂场景的新视图合成。

May, 2024

神经声学上下文场：利用神经场实现逼真的房间冲激响应

提出了一种新颖的神经音频环境场方法（NACF），通过利用多个声学环境上下文参数化音频场景，考虑了声学属性，实验结果表明 NACF 优于现有基于场的方法。

Sep, 2023

SOAF: 场景遮挡感知的神经声场

该论文解决了在室内场景中沿任意轨迹的新视觉音频综合问题，提出了一种考虑房间几何特性和墙壁遮挡对声音传播的影响的新方法，通过从输入视频中学习场景透射率并使用距离感知的参数化声音传播建模生成准确声音，并使用基于斐波那契球的局部声学场特征提取和定向感知的注意机制生成新视角的双耳音频，通过在真实数据集和合成数据集上的广泛实验证明了该方法在音频生成方面的优越性。

Jul, 2024

真实声场：一个音频 - 视觉房间声学数据集与基准

我们提出了一个名为 Real Acoustic Fields（RAF）的新数据集，其中包含了从多种模态捕获的真实声场数据。该数据集包括了与多视图图像配对的高质量密集捕获的房间脉冲响应数据，以及声音发射器和听者的精确 6DoF 姿态跟踪数据。我们利用该数据集评估了现有的新视角声学合成和脉冲响应生成方法，并提出了用于增强它们在真实世界数据上表现的设置。我们还通过实验调查了将视觉数据（图像和深度）与神经声学场模型相结合的影响。此外，我们展示了一种简单的模拟 - 真实方法的有效性，即使用模拟数据进行预训练，并用稀疏的真实数据进行微调，从而显著改善了少样本学习方法。RAF 是第一个提供了密集捕获房间声学数据的数据集，对于从事音频和音频 - 视觉神经声学场建模技术的研究人员来说，它是一个理想的资源。我们的项目页面提供演示和数据集：https:// 此处 URL

Mar, 2024

物理信息神经网络的隐式神经表示方法用于重建房间脉冲响应的早期部分

本文提出使用基于物理的神经网络重建声场早期部分，实现了准确的重建且维持轻量架构。

Jun, 2023

贝叶斯推断与神经估计声波传播

本文提出了一种新颖的框架，将物理和机器学习方法相结合，用于分析声学信号。该框架包括三种方法：用贝叶斯推断法推断谱声学特性，将神经网络配备前向和反向物理损失的神经物理模型，以及用作基准的非线性最小二乘法。推断的传播系数导致室内冲激响应（RIR）量，可用于带有不确定性的重定位。这一框架的简单和高效在模拟数据上得到了实证验证。

May, 2023

混合神经隐式函数生成神经场

我们提出了一种学习生成神经场的新方法，它由隐式基网络的线性组合表示。我们的算法通过进行元学习或采用自动解码范式来学习隐式神经表示的基网络及其在潜在空间中的系数。该方法通过增加基网络的数量，同时保持小型推断网络的规模，从而轻松扩大生成神经场的容量，而通过加权模型平均来采样模型实例在延迟和内存占用方面高效。此外，我们还为目标任务定制了去噪扩散概率模型，以采样潜在混合系数，从而使我们的最终模型能够有效地生成看不见的数据。实验证明，我们的方法在图像、体素数据和 NeRF 场景的各种基准测试上取得了有竞争力的生成性能，而无需复杂的特定模态和领域设计。

Oct, 2023

雷达场：基于频率 - 空间的神经场景表示法用于 FMCW 雷达

基于活跃雷达成像仪的雷达场景重建方法，通过在傅立叶频率空间中学习场域，并通过原始雷达数据进行监督，可有效地在各种户外场景中提取场景占用情况。

May, 2024

神经表达辐射场

我们提出了一种新的可变形三维表达方式 —— 神经关节光辐射场（NARF），该模型可以从图像中学习人工对象的运动姿态，并实现姿态的收放自如。NARF 不仅具有充分的可训练性和不可分性，而且还能够在多个实例的对象类中学习出外观的变化。实验证明，该方法高效可行、泛化能力强，并且代码已开源。

Apr, 2021

A-NeRF：用于学习人体形态、外观和姿态的关节神经辐射场

本文提出了一种基于神经径向基方法的生成神经体模型，通过学习未标记的单目视频，在不需要地面真实标签的情况下，共同完善的姿势和体积身体形状和外观，有效改善了多样化数据集上的准确性，是对使用反向运动学的引入的一个重要贡献。

Feb, 2021