Apr, 2018

用一部手机完成 SVBRDF 材质获取

PDF
TL;DR本论文提出了一种材料获取方法，在手持的手机相机拍摄时，通过任意环境光线下使用闪光灯成像物体表面，从而避免阴影并同时捕捉高频镜面反射，使用训练好的卷积神经网络 (SVBRDF) 回归出完整物体表面的 BRDF 和法线信息，通过密集条件随机场模块细化结果，最终获得高质量的各种材料的表面重构结果，并证明了该方法在真实数据和合成数据上比现有方法获得更好的结果。
material acquisitionbrdfnormal mapcnnsvbrdf
发现论文，激发创造
  • 具备渲染感知深度网络的单张图像 SVBRDF 捕获

    本文提出了一种基于深度神经网络的轻量级外观捕捉方法，通过多个创新方法如大规模数据集采集、网络设计等，可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度，并对单张空间不均匀 BRDFs 的捕捉进行了优化。

    Oct, 2018

  • 多图深度网络灵活 SVBRDF 捕获

    该论文提出了一种深度学习方法，可以从不确定数量的拍摄的无序图片中估计材料外观，无需校准，并通过提取每张图片中的最有用的信息并从数据中学到的先验知识，处理视角和光线方向的变化，从而实现对材料的捕捉，并在单张至多张图片的输入条件下，实现与现有单张和复杂多张方法之间的完美平衡。

    Jun, 2019

  • MaterialGAN: 使用生成式 SVBRDF 模型进行反射率捕捉

    本文利用基于 StyleGAN2 的深度生成卷积网络 MaterialGAN，通过在其潜在表示空间中进行优化，将闪光灯照射下拍摄的图像转化成能够精确还原目标图像的材料贴图，并取得了优于现有技术水平的结果。此外，我们还展示了 MaterialGAN 的高级语义材料编辑操作，例如材料变化和材料形态变化。

    Sep, 2020

  • 双镜头空间可变 BRDF 和形状估计

    提出了一种新的深度学习架构，该架构对形状和 SVBRDF 进行分阶段估计，并具有联合细化网络，适用于移动硬件，并创建了一个大规模的合成训练数据集，通过实验展示了该方法的优越性。

    Apr, 2020

  • 使用自增卷积神经网络从单张照片建模表面外观

    本文提出了一种卷积神经网络分类模型，通过利用未标记的空间变化材料图像中嵌入的外观信息来自主增强训练过程，以减少标记训练数据的数量，并验证了该网络结构在不同类型的材料上的有效性和自增强训练流程的效果。

    Sep, 2018

  • 面向大规模物质转移的引导微调

    本文提出了一种将基于样例的表面视角双向反射分布函数转移到类似材料的目标图像中的简单方法，并介绍了两种工作流程，一种允许用户从单个大表面的照片中捕捉大规模对象的表面，另一种可以从网络图片中创建大型 SVBRDF。

    Jul, 2020

  • 实现可伸缩的几何和材料多视角重建

    本文提出了一种新方法，通过使用点光源的移动手持捕捉系统，联合恢复无法被固定采集设备捕获的超物体尺度的三维场景的相机姿势，对象几何和空间变化双向反射分布函数，并引入分布式优化算法进行重构

    Jun, 2023

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 材料调色板：从单张图像中提取材料

    本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

    Nov, 2023

  • 来自闪光图像的 BRDF 纹理的生成建模

    本研究提出了一种通过使用卷积神经网络将闪光灯照射下的自然材料照片转换为潜在材料编码，并在此基础上生成 BRDF 模型参数，以匹配现实场景光照并达到高效复制材料外观的方法。用户研究结果表明，本方法比之前的研究具有更好的效果，即使其他方法能够访问 BRDF 监督。

    Feb, 2021