探究结合盲音频录音和 3D 场景信息对新视角声学合成的益处。通过 2-4 个麦克风的音频录音和包含多个未知声源的场景的 3D 几何学和材料，估计场景中的任何声音。我们确定了新视角声学合成的主要挑战，即声源定位、分离和去混响。虽然简单地训练端到端网络不能产生高质量的结果，但我们证明了融入从 3D 重建房间导出的房间脉冲响应（RIRs）使得相同的网络能够统一解决这些任务。我们的方法优于针对各个任务设计的现有方法，证明其在利用 3D 视觉信息方面的有效性。在 Matterport3D-NVAS 数据集上的模拟研究中，我们的模型在源定位方面实现了接近完美的准确性，源分离和去混响方面的 PSNR 为 26.44 dB 和 SDR 为 14.23 dB，从而在新视角声学合成方面获得了 PSNR 为 25.55 dB 和 SDR 为 14.20 dB 的结果。项目网页提供了代码、预训练模型和视频结果。

Oct, 2023

本研究提供了一份可扩展性强、真实感更强、规模更大、变异性更强、且在训练和评估深度学习方法、基准测试同时定位和映射（SLAM）方面有更广泛用途的数据集，以支持计算机视觉领域的研究。我们使用数百万个专业室内设计和制作级家具资产进行高分辨率和高帧率视频序列渲染，并支持各种摄像头类型以及惯性测量。同时，我们展示了稀疏和密集 SLAM 算法的基准测试结果。

Sep, 2018

使用照相机与软件进行拍摄与处理，采用 3D 扫描仪进行加速，生成真实物体的准确虚拟模型与网格模型，并在项目网站上提供所有生成的模型和图像。

Feb, 2024

提出了一种端到端的解决方案，通过从单个图像中重建室内场景布局，物体包围盒和网格来解决室内场景的语义重建问题，实验证明该方法在室内布局估计，三维物体检测和网格重建方面的表现优于现有方法。

Feb, 2020

本研究介绍了 BlendedMVS，一个新颖的数据集，用于为基于学习的 Multi-View Stereo（MVS）提供足够的训练样本，从而提高训练模型的泛化能力。对于创建这个数据集，我们使用 3D 重建管道从精选的场景图像中恢复高质量的纹理网格，然后将这些网格模型渲染为彩色图像和深度地图。

Nov, 2019

提出了一种创造大规模室内场景的照片级真实数据集的新框架，可提供外观、布局、语义标签、高质量变化自由的 BRDF 和复杂照明等显著真实的基准数据，可用于逆向渲染、场景理解和机器人学，与物理引擎结合可创建具有摩擦系数等真实场景对应关系的虚拟机器人环境。

Jul, 2020

该文介绍了一个大规模室内空间数据集，其中包含 2D、2.5D 和 3D 接口的多种相互注册的模态，并具有实例级别的语义和几何注释。该数据集使得可以开发联合和跨模态学习模型，以及可能利用大规模室内空间中存在的规律性的无监督方法。

Feb, 2017

本文介绍了一种包含近千个三维对象模型及超过 84 万个现实世界的 RGB 和深度图像数据集，旨在填补现有研究中缺乏的三维多视图重建的真实数据基准。该数据集通过半自动方式实现相机位置与物体姿态的精准标注，为形状重建、物体姿态估计、形状检索等 3D 应用提供了可能。数据集已开放，包含注释工具和评估基准源代码。

Mar, 2022

DUSt3R 是一种新颖的范式，用于进行任意图像集合的密集和无约束立体三维重建，通过将成对的重建问题作为点图的回归来实现，进而实现单眼和双眼重建的统一，提供场景的三维模型和深度信息，并能够轻松恢复像素匹配、相对和绝对相机，DUSt3R 能够简化多种几何三维视觉任务。

Dec, 2023

本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

Dec, 2020