本研究提出了一种基于真实材料照片的首个材料生成器 PhotoMat，通过训练一个神经材料表征的生成器来创建任意光照的材料，从而弥补了不可用的合成数据，使得生成的材料在视觉上更加真实和精细，从而实现更加高质量的 3D 渲染。

May, 2023

通过使用大规模预训练的扩散模型，我们提出了一种可控的图像合成方法，将图像混合、图像协调、视角综合和生成式合成统一为一个扩散模型，同时设计了一个自监督训练框架和一个定制化的训练数据准备方法，并通过局部增强模块提高合成图像中前景细节的保真性。我们的方法在公共基准和实际数据上进行了评估，结果表明我们的方法比现有方法能够生成更加忠实和可控的合成图像。

Aug, 2023

我们提出了一种方法来控制物体的材质属性，如粗糙度、金属性、反照率和透明度。我们的方法利用了文本到图像模型的生成先验知识，通过标量值和指令来改变低级材料属性。我们通过生成基于物理的材料的以物体为中心的合成数据集，解决了缺乏具有受控材质属性的数据集的问题。通过在这个合成数据集上微调修改过的预训练文本到图像模型，我们能够在保留其他所有属性的同时编辑真实世界图像中的材质属性。我们展示了我们的模型在材质编辑 NeRF（可编辑反射函数）中的潜在应用。

Dec, 2023

MatFuse 是一种基于扩散模型的新型统一方法，用于简化计算机图形学中高质量逼真材料的创建，通过集成多种条件来源实现细粒度控制和材料合成的灵活性，该方法展示出与最先进方法相当的性能，同时丰富了创作可能性。

Aug, 2023

我们提出了一种无需训练且稳健的解决方案，为现成的视频扩散模型提供摄像机运动控制。我们的方法不同于以前的工作，不需要在带有摄像机注释的数据集上进行有监督的微调或通过数据增强进行自监督训练。相反，它可以与大多数预训练的视频扩散模型插入和播放，并且只需一个图像或文本提示作为输入即可生成可控摄像机的视频。我们的工作灵感来自于中间隐藏变量对生成结果的布局先验，因此重新排列其中的噪点像素将重新分配输出内容。由于摄像机移动也可以被视为透视变化引起的像素重新排列，如果它们的噪点隐藏变量相应改变，视频可以按照特定的摄像机运动进行重新组织。基于此，我们提出了我们的方法 CamTrol，实现了对视频扩散模型的稳健摄像机控制。这通过两个阶段的过程实现。首先，我们在三维点云空间中建模图像布局重新排列通过显式摄像机运动。其次，我们使用一系列重新排列的图像形成的噪点隐藏变量的布局先验生成具有摄像机运动的视频。广泛的实验证明了我们的方法在控制生成视频的摄像机运动方面的鲁棒性。此外，我们展示了我们的方法在生成具有动态内容的三维旋转视频方面产生的令人印象深刻的结果。

Jun, 2024

提出了一种基于扩散模型的可控加速虚拟试衣网络（CAT-DM），该网络通过使用 ControNet 引入额外的控制条件和改进服装图像的特征提取，对传统的扩散模型进行了改进，并且能够在不降低生成质量的情况下减少采样步骤。与基于 GAN 和基于扩散模型的先前试衣方法相比，CAT-DM 能够更真实地生成图像并准确复制服装图案。

Nov, 2023

本文旨在通过文本描述生成 3D 网格材料。与现有方法合成纹理图不同，我们提出生成分段逐步建模材料图作为外观表示，支持高质量渲染并提供灵活的编辑。我们的方法通过预训练的 2D 扩散模型作为文本和材料图之间的桥梁，而不是依赖于大量的成对数据训练材料图生成模型。通过在生成的图像上初始化材料图参数，并通过可微分渲染模块进行微调，以符合文本描述。大量实验证明我们的框架在逼真度、分辨率和可编辑性方面的性能优于现有方法。

Apr, 2024

在控制生成方面与文本到图像扩散模型的研究领域，通过调查文献并总结了控制性生成，包括基本概念和实践研究。

Mar, 2024

通过引入 MVControl 神经网络架构，我们成功地提出了一种能够增强现有预训练的多视角二维扩散模型并结合额外输入条件（如边缘图）的方法。通过我们的方法，实现了可控的多视角图像生成和视角一致的三维内容创作。

Nov, 2023

我们将从照片中估计 SVBRDF 作为一项扩散任务，并使用一种新颖的无条件 SVBRDF 扩散基础模型 MatFusion 对分布具有空间变化的材料进行建模，然后通过条件扩散模型细化该基础模型以估计照片中的材料特性，并展示了我们的方法在不同类型的入射光照条件下对单张照片的精度能够达到或超过现有的 SVBRDF 估计方法。

Apr, 2024