Apr, 2024

MatFusion：一种用于 SVBRDF 捕获的生成扩散模型

PDF
TL;DR我们将从照片中估计 SVBRDF 作为一项扩散任务，并使用一种新颖的无条件 SVBRDF 扩散基础模型 MatFusion 对分布具有空间变化的材料进行建模，然后通过条件扩散模型细化该基础模型以估计照片中的材料特性，并展示了我们的方法在不同类型的入射光照条件下对单张照片的精度能够达到或超过现有的 SVBRDF 估计方法。
svbrdfdiffusionmatfusionestimationphotograph
发现论文，激发创造
  • MatFuse: 控制能力的扩散模型材料生成

    MatFuse 是一种基于扩散模型的新型统一方法，用于简化计算机图形学中高质量逼真材料的创建，通过集成多种条件来源实现细粒度控制和材料合成的灵活性，该方法展示出与最先进方法相当的性能，同时丰富了创作可能性。

    Aug, 2023

  • 反射融合：基于扩散的文本到 SVBRDF 生成

    Reflectance Diffusion 是一种新的神经文本到纹理模型，从文本描述中生成高保真度的 SVBRDF 贴图。该方法通过两个模块的级联神经网络方法来准确地建模空间变化反射的分布。

    Apr, 2024

  • MaterialGAN: 使用生成式 SVBRDF 模型进行反射率捕捉

    本文利用基于 StyleGAN2 的深度生成卷积网络 MaterialGAN，通过在其潜在表示空间中进行优化，将闪光灯照射下拍摄的图像转化成能够精确还原目标图像的材料贴图，并取得了优于现有技术水平的结果。此外，我们还展示了 MaterialGAN 的高级语义材料编辑操作，例如材料变化和材料形态变化。

    Sep, 2020

  • 多图深度网络灵活 SVBRDF 捕获

    该论文提出了一种深度学习方法，可以从不确定数量的拍摄的无序图片中估计材料外观，无需校准，并通过提取每张图片中的最有用的信息并从数据中学到的先验知识，处理视角和光线方向的变化，从而实现对材料的捕捉，并在单张至多张图片的输入条件下，实现与现有单张和复杂多张方法之间的完美平衡。

    Jun, 2019

  • TexFusion：使用文本引导的图像扩散模型合成 3D 纹理

    TexFusion（纹理扩散）是一种新的方法，利用大规模的文本引导图像扩散模型，对给定的三维几何图形进行纹理合成。

    Oct, 2023

  • ViewFusion: 学习可组合的扩散模型用于新视角合成

    通过深度学习，本研究提出了一种新颖的视角合成方法 ViewFusion，其以端到端的生成方式灵活地综合多个输入视角，消除噪声并生成高质量的视角，相较于现有方法具有更好的泛化性能和适用性。

    Feb, 2024

  • 自适应多模态融合的空间变体核细化与扩散模型盲图像超分辨率

    利用预训练的扩散模型进行图像生成，包含大量关于复杂纹理的先验知识。为了解决现有方法在扩散过程中忽视退化信息约束以及空间变异性的问题，本文提出了自适应多模态融合空间变异核细化与扩散模型的盲超分辨率图像方法 (SSR)。通过引入空间变异核细化模块 (SVKR)，结合深度信息和模糊核估计，以及自适应多模态融合模块 (AMF) 对低分辨率图像、深度图和模糊核信息进行优化调整，实现更真实的超分辨率结果。实验证明了本文方法的有效性和优越性。

    Mar, 2024

  • 具备渲染感知深度网络的单张图像 SVBRDF 捕获

    本文提出了一种基于深度神经网络的轻量级外观捕捉方法，通过多个创新方法如大规模数据集采集、网络设计等，可从单张图片中恢复像素级法线、漫反射、高光反射和高光粗糙度，并对单张空间不均匀 BRDFs 的捕捉进行了优化。

    Oct, 2018

  • UpFusion：基于未姿态稀疏视角观测的新视角扩散

    UpFusion 是一个系统，可以在没有对应姿态信息的情况下，根据稀疏的参考图像执行新视角合成和推断对象的三维表示。

    Dec, 2023

  • 双镜头空间可变 BRDF 和形状估计

    提出了一种新的深度学习架构，该架构对形状和 SVBRDF 进行分阶段估计，并具有联合细化网络，适用于移动硬件，并创建了一个大规模的合成训练数据集，通过实验展示了该方法的优越性。

    Apr, 2020