Sep, 2020

MaterialGAN: 使用生成式 SVBRDF 模型进行反射率捕捉

PDF
TL;DR本文利用基于 StyleGAN2 的深度生成卷积网络 MaterialGAN，通过在其潜在表示空间中进行优化，将闪光灯照射下拍摄的图像转化成能够精确还原目标图像的材料贴图，并取得了优于现有技术水平的结果。此外，我们还展示了 MaterialGAN 的高级语义材料编辑操作，例如材料变化和材料形态变化。
发现论文，激发创造
  • 具备渲染感知深度网络的单张图像 SVBRDF 捕获

    本文提出了一种基于深度神经网络的轻量级外观捕捉方法，通过多个创新方法如大规模数据集采集、网络设计等，可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度，并对单张空间不均匀 BRDFs 的捕捉进行了优化。

    Oct, 2018

  • 多图深度网络灵活 SVBRDF 捕获

    该论文提出了一种深度学习方法，可以从不确定数量的拍摄的无序图片中估计材料外观，无需校准，并通过提取每张图片中的最有用的信息并从数据中学到的先验知识，处理视角和光线方向的变化，从而实现对材料的捕捉，并在单张至多张图片的输入条件下，实现与现有单张和复杂多张方法之间的完美平衡。

    Jun, 2019

  • 用一部手机完成 SVBRDF 材质获取

    本论文提出了一种材料获取方法，在手持的手机相机拍摄时，通过任意环境光线下使用闪光灯成像物体表面，从而避免阴影并同时捕捉高频镜面反射，使用训练好的卷积神经网络 (SVBRDF) 回归出完整物体表面的 BRDF 和法线信息，通过密集条件随机场模块细化结果，最终获得高质量的各种材料的表面重构结果，并证明了该方法在真实数据和合成数据上比现有方法获得更好的结果。

    Apr, 2018

  • MatFusion：一种用于 SVBRDF 捕获的生成扩散模型

    我们将从照片中估计 SVBRDF 作为一项扩散任务，并使用一种新颖的无条件 SVBRDF 扩散基础模型 MatFusion 对分布具有空间变化的材料进行建模，然后通过条件扩散模型细化该基础模型以估计照片中的材料特性，并展示了我们的方法在不同类型的入射光照条件下对单张照片的精度能够达到或超过现有的 SVBRDF 估计方法。

    Apr, 2024

  • 双镜头空间可变 BRDF 和形状估计

    提出了一种新的深度学习架构，该架构对形状和 SVBRDF 进行分阶段估计，并具有联合细化网络，适用于移动硬件，并创建了一个大规模的合成训练数据集，通过实验展示了该方法的优越性。

    Apr, 2020

  • DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

    通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和编辑应用方面展示了 DreamPBR 的多功能性和用户友好性。

    Apr, 2024

  • 使用自增卷积神经网络从单张照片建模表面外观

    本文提出了一种卷积神经网络分类模型，通过利用未标记的空间变化材料图像中嵌入的外观信息来自主增强训练过程，以减少标记训练数据的数量，并验证了该网络结构在不同类型的材料上的有效性和自增强训练流程的效果。

    Sep, 2018

  • 面向大规模物质转移的引导微调

    本文提出了一种将基于样例的表面视角双向反射分布函数转移到类似材料的目标图像中的简单方法，并介绍了两种工作流程，一种允许用户从单个大表面的照片中捕捉大规模对象的表面，另一种可以从网络图片中创建大型 SVBRDF。

    Jul, 2020

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 来自闪光图像的 BRDF 纹理的生成建模

    本研究提出了一种通过使用卷积神经网络将闪光灯照射下的自然材料照片转换为潜在材料编码，并在此基础上生成 BRDF 模型参数，以匹配现实场景光照并达到高效复制材料外观的方法。用户研究结果表明，本方法比之前的研究具有更好的效果，即使其他方法能够访问 BRDF 监督。

    Feb, 2021