NeRAF:三维场景中嵌入的神经辐射和声场
我们提出了一个名为 Real Acoustic Fields(RAF)的新数据集,其中包含了从多种模态捕获的真实声场数据。该数据集包括了与多视图图像配对的高质量密集捕获的房间脉冲响应数据,以及声音发射器和听者的精确 6DoF 姿态跟踪数据。我们利用该数据集评估了现有的新视角声学合成和脉冲响应生成方法,并提出了用于增强它们在真实世界数据上表现的设置。我们还通过实验调查了将视觉数据(图像和深度)与神经声学场模型相结合的影响。此外,我们展示了一种简单的模拟 - 真实方法的有效性,即使用模拟数据进行预训练,并用稀疏的真实数据进行微调,从而显著改善了少样本学习方法。RAF 是第一个提供了密集捕获房间声学数据的数据集,对于从事音频和音频 - 视觉神经声学场建模技术的研究人员来说,它是一个理想的资源。我们的项目页面提供演示和数据集:https:// 此处 URL
Mar, 2024
该论文主要研究使用神经辐射场(NeRF)方法对合成和真实场景进行 3D 重建,包括利用多分辨率哈希编码等技术在静态和动态场景重建方面的研究。其中,还着重探讨了神经辐射场(D-NeRF)对动态场景重建的应用,并成功将其推广至真实世界动态场景。
Oct, 2022
本文介绍了神经声学场(NAFs),一种能够捕捉声音在物理环境中传播的隐式函数表示,通过将声学传播建模为一个线性时不变系统,NAFs 能够连续地将所有发送与接收方位置匹配映射到神经脉冲响应函数,从而可以应用于任意声音,同时 NAFs 中学习到的场景结构信息能够帮助改善稀疏视图的视觉学习。
Apr, 2022
Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.
Apr, 2023
该研究通过提出 Enhance-NeRF 模型,增强神经放射场(NeRF)在虚拟现实和增强现实等领域的三维重建应用,改进了场景识别和学习能力,有望广泛应用于照明、材质和形状的室外场景重建,具备插拔式的易用性,并能够与其他 NeRF-based 模型轻松集成。
Jun, 2023
近年来,神经辐射场(NeRF)在计算机视觉和图形领域取得了显着进展,为解决 3D 场景理解、新视角合成、人体重建、机器人等关键任务提供了强有力的技术支持。本文对过去两年内关于 NeRF 的研究文献进行了深入分析,在详细阐述 NeRF 核心架构的基础上,讨论了 NeRF 的各种改进策略,以及在不同应用场景中的案例研究,展示了其在不同领域的实际应用价值。同时,本文还详细介绍了 NeRF 模型训练所需的关键资源,最后提出了关于 NeRF 未来发展趋势和潜在挑战的前瞻性讨论,旨在为该领域的研究人员提供研究灵感,促进相关技术的进一步发展。
Mar, 2024
本文提出了一种名为 AE-NeRF 的音频增强神经辐射场模型,该模型能够生成具有少量样本的新演讲者的逼真肖像。实验证明,AE-NeRF 在图像保真度、音频嘴唇同步和泛化能力方面超过了现有技术,即使在有限的训练数据或训练迭代次数下也能取得优异结果。
Dec, 2023
通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进,使其在 360° 的拍摄模式下提高拍摄质量。
Oct, 2020
我们提出了一种新的可变形三维表达方式 —— 神经关节光辐射场(NARF),该模型可以从图像中学习人工对象的运动姿态,并实现姿态的收放自如。NARF 不仅具有充分的可训练性和不可分性,而且还能够在多个实例的对象类中学习出外观的变化。实验证明,该方法高效可行、泛化能力强,并且代码已开源。
Apr, 2021