利用物理基础渲染和实验室测量的折射率，生成高保真度的多视角图像，我们引入 OpenMaterial 数据集，包括 295 种不同材料制成的 1001 个物体，并在 723 种不同的照明条件下采集。OpenMaterial 提供了全面的标注，包括 3D 形状、材料类型、相机姿态、深度和物体掩码。作为首个大规模数据集，它使得对具有多样且具有挑战性材料的物体上现有算法进行定量评估成为可能，从而为处理复杂材料属性的 3D 重建算法的发展铺平了道路。

Jun, 2024

WinSyn 数据集是一个用于合成至真研究的测试工具，包括高分辨率的建筑窗户照片和 3D 模型渲染图。该数据集由全球范围内的 75,739 张建筑窗户高分辨率照片组成，并包括传统和现代设计。其中有 89,318 个窗户的剪裁子图像，其中有 9,002 个具有语义标签。此外，我们还提供了与领域匹配的逼真程序模型，可以对各种参数分布和工程方法进行实验。我们的程序模型提供了 21,290 个合成图像的第二个相应数据集。WinSyn 数据集的共同开发旨在促进合成至真学习和合成数据生成的研究。WinSyn 允许研究合成数据与真实世界数据竞争的因素，并使用我们的合成模型进行消融实验，以识别与准确性任务相关的显著渲染、材料和几何因素。我们选择窗户作为基准，因为它们在设计中呈现出较大的几何形态和材料变化，使其成为在受限环境中研究合成数据生成的理想对象。我们认为这个数据集是推动深度学习中合成数据生成未来研究的关键步骤。

Oct, 2023

本研究提供了一份可扩展性强、真实感更强、规模更大、变异性更强、且在训练和评估深度学习方法、基准测试同时定位和映射（SLAM）方面有更广泛用途的数据集，以支持计算机视觉领域的研究。我们使用数百万个专业室内设计和制作级家具资产进行高分辨率和高帧率视频序列渲染，并支持各种摄像头类型以及惯性测量。同时，我们展示了稀疏和密集 SLAM 算法的基准测试结果。

Sep, 2018

通过 DreamMat 方法从文本描述生成高质量 PBR 材料，解决了从 2D 扩散模型中提取 PBR 材料参数时的错误材料解析问题，并取得了显著的渲染质量优势。

May, 2024

使用逼真的渲染技术创建的 Synscapes 合成数据集在街景分割的训练和验证方面展示了最先进的结果，并研究了网络在合成数据上推断时的行为，并分析了现有分割和检测模型，为计算机视觉系统的分析提供了细微的信息。

Oct, 2018

本研究提出了一种基于真实材料照片的首个材料生成器 PhotoMat，通过训练一个神经材料表征的生成器来创建任意光照的材料，从而弥补了不可用的合成数据，使得生成的材料在视觉上更加真实和精细，从而实现更加高质量的 3D 渲染。

May, 2023

本文介绍了一种名为 Hypersim 的、具备完整的室内场景计算机视觉理解的合成数据集，该数据集为场景、对象和像素级别提供完整的标注信息，并且评估了数据集的生成成本，并证明了使用该数据集进行预训练可以显著改善语义分割和 3D 形状预测任务的性能。

Nov, 2020

本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

Nov, 2023

利用图像引导并借助三种类型的在线数据，包括形状集合、物质集合、及照片集合，使用大规模 3D 形状集合自动分配高质量、逼真的外观模型，利用卷积神经网络在大量合成的渲染图像中训练材料分类，再通过 3D-2D 对齐技术将材料传输到每个形状的不同部位，从而生成光真实、可重新采光的 3D 形状（PhotoShapes)。

Sep, 2018

本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

Apr, 2024