Jun, 2024

稳定材料：通过半监督学习增强材料生成的多样性

PDF
TL;DR使用 Semi-supervised learning 和 Latent Diffusion Models（LDMs）的 StableMaterials 方法，通过对抗训练从现有大规模图像生成模型中提取知识，生成与 SDXL 模型的图像纹理分布相一致的新型材料，同时使用扩散模型提高样本的视觉质量，并通过四个步骤实现快速生成，该方法在计算机图形学等领域拥有潜在应用。
stablematerialsphotorealistic physical-based renderingsemi-supervised learninglatent diffusion modelscomputer graphics
发现论文，激发创造
  • 材料调色板：从单张图像中提取材料

    本研究提出了一种从单个真实世界图像中提取基于物理的渲染 (PBR) 材料的方法，通过扩散模型将图像的区域映射到材料概念，然后利用独立的网络将生成的纹理分解成空间变化的 BRDFs，并通过无监督领域适应实现对新样本的泛化应用。该方法在合成和真实世界数据集上进行了充分评估，并展示了从实际照片估计的材料编辑 3D 场景的适用性。

    Nov, 2023

  • DreamPBR：基于文本和多模态引导生成高分辨率的 SVBRDF

    通过结合大规模的视觉语言模型和已存在的先验知识，我们提出了 DreamPBR，一种新颖的基于扩散的生成框架，用于创建由文本和多模态控制引导的具有空间变化外观属性的材料，从而提供高度可控性和多样性。通过我们的方法，在材料 creation 和编辑应用方面展示了 DreamPBR 的多功能性和用户友好性。

    Apr, 2024

  • 大规模扩散材料生成

    本研究提出了一个基于 UniMat 的晶体结构生成方法，通过训练扩散概率模型，能够高度还原大规模和复杂化学系统的晶体结构，并且在评估指标上胜过之前基于图结构的方法，同时提出了针对材料的新评估指标，并展示了条件生成在大规模晶体数据集上的可扩展性，优于结构发现的当前方法。

    Oct, 2023

  • COCO 和 Weed 数据集的稳定扩散

    通过稳定扩散模型生成高分辨率图像，并利用这些图像提高检测模型的性能，这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。

    Dec, 2023

  • LLMatDesign：基于大型语言模型的自主材料发现

    LLMatDesign 是一个基于大型语言模型的可解释材料设计框架，通过使用 LLM 代理来翻译人类指令、修改材料并使用提供的工具评估结果，以零样本的方式适应新任务和条件，通过在几个材料设计任务上系统评估证实其在小数据领域中开发具有用户定义目标属性的新材料的有效性，展示了在计算环境中基于自主 LLM 引导的材料发现对于未来的自动化实验室的显著潜力。

    Jun, 2024

  • DreamMat：基于几何和光照感知扩散模型的高质量 PBR 材质生成

    通过 DreamMat 方法从文本描述生成高质量 PBR 材料，解决了从 2D 扩散模型中提取 PBR 材料参数时的错误材料解析问题，并取得了显著的渲染质量优势。

    May, 2024

  • 单视角材料估计的内在图像扩散

    使用内在图像扩散，我们提出了一种室内场景外观分解的生成模型。通过给定单个输入视图，我们对多个可能的材质解释进行采样，这些解释由反照率、粗糙度和金属性地图表示。通过引入概率形式来处理外观分解的挑战，我们利用了最近在大规模真实世界图像上训练的强大学习预测器，将其应用于材料估计，并在 PSNR 上超过了现有方法 1.5dB，在反照率预测上 FID 分数提高了 45%。通过在合成和真实世界数据集上进行实验证明了我们方法的有效性。

    Dec, 2023

  • IntrinsicAnything: 学习未知照明下反向渲染的扩散先验

    该研究旨在通过生成模型和扩散模型来恢复从 RGB 图像中的物体材料，并通过粗糙到精细的训练策略来提高稳定性和准确性。

    Apr, 2024

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • 基于文本的多样人脸纹理生成通过渐进潜空间细化

    自动 3D 面部纹理生成的新方法使用渐进潜在空间改进的方式，通过增强生成对抗网络（GANs）和分数蒸馏采样（SDS）相互促进，提供更高质量、丰富多样和高效的照片写实 3D 纹理生成。

    Apr, 2024