本文提出了一种名为 PhotoScene 的框架，可以基于输入图像及与之大致对齐的 CAD 几何形态数据（自动重建或手动指定），构建具有高质量材质和相似照明的逼真数字孪生体。该框架采用过程材料图模型建模场景材料，可以优化图参数和纹理比例、旋转，以及场景光照度以最佳匹配输入图像。文中还对该技术进行了评估，并展示了该方法对于来自 ScanNet、SUN RGB-D 和证券照片的对象和布局重建可以重渲染出高质量、可完全照明的 3D 场景。

Jul, 2022

本研究提出了一种基于真实材料照片的首个材料生成器 PhotoMat，通过训练一个神经材料表征的生成器来创建任意光照的材料，从而弥补了不可用的合成数据，使得生成的材料在视觉上更加真实和精细，从而实现更加高质量的 3D 渲染。

May, 2023

通过拍摄来自不同视角的 3D 点的表征，利用投影卷积神经网络架构来学习物质感知描述符，从而实现物质感知的 3D 形状分析，并且通过众包的方式构建了一个 3D 形状数据集，证明了其学习描述符在自动纹理、物质感知检索和物理模拟中的有效性。

Oct, 2018

该论文提出了一种联合优化框架，可以在未知摄像机姿态和野外环境下准确地估计形状、辐射度和图像相机姿态和光照。

May, 2022

通过 Pix3D 数据集，我们在三个方面对单张图像进行 3D 形状建模进行研究：建立了包含图片和对应 3D 模型对的大规模基准数据集，对 3D 形状重建的评估标准进行了校准并设计了一种新的模型，该模型在 3D 重建和姿态估计任务上均实现了最先进的性能。

Apr, 2018

本文提出一种学习框架，可以从单个图像中恢复物体的 3D 形状、相机、和纹理，使用一个可变形的 3D 网格模型来表示形状，在不依赖于地面真值 3D 或多视图监督的情况下，利用注释的图像集进行训练并学习 3D 预测机制与可变形模型。作者还展示了可以轻松将语义关键点与预测的形状相关联，并在 CUB 和 PASCAL3D 数据集上展示了我们的方法的定性和定量结果。

Mar, 2018

利用物理基础渲染和实验室测量的折射率，生成高保真度的多视角图像，我们引入 OpenMaterial 数据集，包括 295 种不同材料制成的 1001 个物体，并在 723 种不同的照明条件下采集。OpenMaterial 提供了全面的标注，包括 3D 形状、材料类型、相机姿态、深度和物体掩码。作为首个大规模数据集，它使得对具有多样且具有挑战性材料的物体上现有算法进行定量评估成为可能，从而为处理复杂材料属性的 3D 重建算法的发展铺平了道路。

Jun, 2024

利用 Multimodal Large Language Models (MLLMs)，特别是 GPT-4V，通过 Make-it-Real 方法，我们展示了 GPT-4V 能够有效地识别和描述材料，构建详细的材料库，并将其准确地与 3D 对象的相应组件匹配，从而在原始漫反射贴图的基础上生成具有视觉真实性的材料，为 3D 资产的开发者提供了一个实用的工具。

Apr, 2024

利用仅需数张自然图像和已知任意环境映射，基于物理原理的网络，可恢复透明物体的 3D 形状，包括复杂折射和反射，其成功复原了高质量透明物体的 3D 几何形状，最少仅需五到十二张图片。

Apr, 2020

本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

Apr, 2024