Sep, 2023

基于扩散的全局纹理矫正与合成

PDF
TL;DR我们提出了一种新的框架来纠正自然图像中降解纹理样本中的遮挡和扭曲问题，该框架通过从降级样本中合成整体纹理，扩展了基于样本的纹理合成技术的适用性。框架利用具有遮挡感知的潜变换器的条件潜扩散模型，既能够有效地编码部分观测样本中的纹理特征以完成潜扩散模型的生成过程，又能够明确地捕捉到具有大范围遮挡的样本中的长程依赖关系。实验结果表明，我们的框架在定量和定性方面显著优于现有方法。此外，我们进行了全面的消融研究，以验证我们建议的框架的不同组成部分。结果得到了感知用户研究的证实，并突显了我们提出方法的高效性。
texture synthesisocclusionsdistortionslatent diffusion modelexemplar-based texture synthesis
发现论文，激发创造
  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 使用潜在扩散模型进行高保真度的图像合成引导

    本文提出了一种新的引导图像合成框架，该框架通过将输出图像建模为受约束优化问题的解决方案来解决领域偏移问题。同时，本文还展示了通过定义基于交叉注意力的输入文本符号和用户笔画之间的对应关系，用户可以在不需要任何条件训练或微调的情况下控制不同绘制区域的语义。

    Nov, 2022

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • 基于潜在特征引导的扩散模型用于阴影去除

    使用扩散模型进行纹理恢复在解决如何从含有阴影图像中推断出无阴影场景的问题上一直是个具有挑战性的难题。本文提出了使用扩散模型的方法，通过在扩散过程中逐渐细化阴影区域的细节，其中借鉴了具备无阴影图像特征的学习潜在特征空间，从而避免了只基于退化图像的传统方法存在的局限性。此外，我们还提出了通过将噪声特征与扩散网络融合来缓解训练过程中潜在的局部最优问题。我们的方法在 AISTD 数据集上的 RMSE 性能较之前的最佳方法提高了 13%，在 DESOBA 数据集上的 RMSE 性能较之前的最佳方法提高了 82%。

    Dec, 2023

  • 纹理生成的单网格扩散模型和场隐变量

    我们介绍了一种在 3D 形状表面上直接操作的基于内在隐性扩散模型的框架，旨在合成高质量的纹理。通过对网格顶点上的离散矢量场编码纹理的隐式表示和学习在表面上的学习隐空间中去噪扩散过程的隐性扩散模型，我们的方法具有两个贡献。我们考虑了一种单一纹理网格范式，其中我们的模型被训练为在网格上生成给定纹理的变化。我们展示了合成的纹理与现有的单一纹理网格生成模型相比，具有较高的保真度。我们的模型还可以用于用户控制的编辑任务，例如修复缺失和标签引导的生成。我们提出的框架具有在等价变换下的等变性，这部分有助于我们方法的有效性，使我们的模型能够在局部相似区域之间无缝复现细节，并打开了生成纹理迁移的可能性。

    Dec, 2023

  • 同步多视角扩散下的文本引导纹理

    介绍一种新颖的方法用于合成给定 3D 对象的纹理，通过预训练的文本到图像扩散模型，提出了一种同步多视点扩散方法，早期生成的纹理内容达成一致，确保纹理的一致性。

    Nov, 2023

  • TexFusion：使用文本引导的图像扩散模型合成 3D 纹理

    TexFusion（纹理扩散）是一种新的方法，利用大规模的文本引导图像扩散模型，对给定的三维几何图形进行纹理合成。

    Oct, 2023

  • 使用潜变量扩散模型进行高分辨率视频合成的对齐

    该研究将 LDM 范例应用于高分辨率视频生成中，利用图像生成器实现视频生成，利用时间维度对视频超分辨率模型进行精细调整，验证其在真实驾驶视频上的表现，且可将 LDM 应用于文本到视频模型中。

    Apr, 2023

  • 基于去噪扩散模型的人物图像合成

    使用去噪扩散模型，我们提出了一种名为 PIDM 的人体图像扩散模型，解决了复杂的转换问题，并展示了在两个大型基准测试中的显着结果，以及如何在下游任务中使用生成的图像。

    Nov, 2022

  • WildFusion：学习视角空间中的三维感知潜空扩散模型

    基于视图空间和潜在扩散模型的 3D 感知图像合成方法，通过压缩潜在表示学习图像的 3D 结构，实现高质量的 3D-consistent 图像合成，无需多视角或 3D 几何的直接监督，不依赖于规范化的相机坐标。

    Nov, 2023