Nov, 2023

材料调色板：从单张图像中提取材料

PDF
TL;DR本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。
physically-based renderingmaterials extractiondiffusion modelspatially varying brdfsunsupervised domain adaptation
发现论文，激发创造
  • 具备渲染感知深度网络的单张图像 SVBRDF 捕获

    本文提出了一种基于深度神经网络的轻量级外观捕捉方法，通过多个创新方法如大规模数据集采集、网络设计等，可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度，并对单张空间不均匀 BRDFs 的捕捉进行了优化。

    Oct, 2018

  • DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

    通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和编辑应用方面展示了 DreamPBR 的多功能性和用户友好性。

    Apr, 2024

  • 单视角材料估计的内在图像扩散

    使用内在图像扩散，我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图，我们对多个可能的材质解释进行采样，这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战，我们利用了最近在大规模真实世界图像上训练的强大学习预测器，将其应用于材料估计，并在 PSNR 上超过了现有方法 1.5dB，在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。

    Dec, 2023

  • 多图深度网络灵活 SVBRDF 捕获

    该论文提出了一种深度学习方法，可以从不确定数量的拍摄的无序图片中估计材料外观，无需校准，并通过提取每张图片中的最有用的信息并从数据中学到的先验知识，处理视角和光线方向的变化，从而实现对材料的捕捉，并在单张至多张图片的输入条件下，实现与现有单张和复杂多张方法之间的完美平衡。

    Jun, 2019

  • 单张图像的神经外观建模

    我们提出了一种材料外观建模神经网络，用于可视化根据多样的视角和光照条件，在只有一张材料的照片作为输入的情况下，对合理的、在空间上有变化的材料进行外观估计。我们的神经结构由两个网络阶段组成：一个网络从单个输入照片中推断材料的每一像素的学习到的神经参数，和一个利用这些神经参数渲染材料的网络，类似于 BRDF。我们在一组 312,165 个合成的空间变化范例上训练我们的模型。由于我们的方法推断学习到的神经参数而不是分析的 BRDF 参数，我们的方法能够将各向异性和全局照明（像素间的相互作用）信息编码为单个像素参数。我们通过与之前的工作进行性能比较来展示我们模型的表现，并通过将其实现到 Mitsuba3 渲染引擎中，证明了渲染网络作为 BRDF 的可行性。最后，我们简要讨论了神经参数编码全局照明信息的能力。

    Jun, 2024

  • MaPa：基于文本的用于 3D 形状的逼真材质绘制

    本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

    Apr, 2024

  • 用一部手机完成 SVBRDF 材质获取

    本论文提出了一种材料获取方法，在手持的手机相机拍摄时，通过任意环境光线下使用闪光灯成像物体表面，从而避免阴影并同时捕捉高频镜面反射，使用训练好的卷积神经网络 (SVBRDF) 回归出完整物体表面的 BRDF 和法线信息，通过密集条件随机场模块细化结果，最终获得高质量的各种材料的表面重构结果，并证明了该方法在真实数据和合成数据上比现有方法获得更好的结果。

    Apr, 2018

  • DreamMat：基于几何和光照感知扩散模型的高质量 PBR 材质生成

    通过 DreamMat 方法从文本描述生成高质量 PBR 材料，解决了从 2D 扩散模型中提取 PBR 材料参数时的错误材料解析问题，并取得了显著的渲染质量优势。

    May, 2024

  • 面向大规模物质转移的引导微调

    本文提出了一种将基于样例的表面视角双向反射分布函数转移到类似材料的目标图像中的简单方法，并介绍了两种工作流程，一种允许用户从单个大表面的照片中捕捉大规模对象的表面，另一种可以从网络图片中创建大型 SVBRDF。

    Jul, 2020

  • MaterialGAN: 使用生成式 SVBRDF 模型进行反射率捕捉

    本文利用基于 StyleGAN2 的深度生成卷积网络 MaterialGAN，通过在其潜在表示空间中进行优化，将闪光灯照射下拍摄的图像转化成能够精确还原目标图像的材料贴图，并取得了优于现有技术水平的结果。此外，我们还展示了 MaterialGAN 的高级语义材料编辑操作，例如材料变化和材料形态变化。

    Sep, 2020