利用先进的纹理先验增强高保真度纹理生成

Mar, 2024

利用先进的纹理先验增强高保真度纹理生成

Enhancing Texture Generation with High-Fidelity Using Advanced Texture Priors

Kuo Xu, Maoyu Wang, Muyu Wang, Lincong Feng, Tianhui Zhang...

TL;DR该研究提出了一种高分辨率、高保真度的纹理恢复技术，通过使用粗糙纹理作为初始输入，增强合成纹理与初始纹理之间的一致性，从而解决用户简化操作引起的混叠和模糊问题，并引入了基于自我监督方案的背景噪声平滑技术来解决当前高分辨率纹理合成方案中的噪声问题。该方法促进了高分辨率纹理合成，为高清晰度和高细节纹理合成技术铺平了道路。实验表明，在高分辨率条件下，我们的方案在高保真度纹理恢复方面的表现优于目前已知方案。

Abstract

The recent advancements in 2d generation technology have sparked a widespread discussion on using 2D priors for 3d shape and texture content generation. However, these methods often overlook the subsequent user o

2d generation technology 3d shape and texture texture synthesis high-resolution high-fidelity restoration

发现论文，激发创造

HD-Fusion: 多噪声估计支持的详细文本到 3D 生成

通过利用 2D 扩散先验提高文本到 3D 内容生成的质量和细节，本文提出了一种结合多个噪声估计过程和预训练的 2D 扩散先验的新方法，实验证明该方法相较于基线能够生成更高质量的细节。

Jul, 2023

HiFi-123：高保真一图到三维内容生成

本文介绍了 HiFi-123，一种用于高保真度和多视角一致的 3D 生成的方法，通过引入参考引导的新视图增强技术和引导状态蒸馏损失，在优化的图像到 3D 过程中显著提高了 3D 生成的质量，取得了最先进的性能。通过全面的评估，定性和定量地证明了我们方法的有效性。

Oct, 2023

EnhanceNet: 自动纹理合成的单图像超分辨率

该研究提出了一种基于自动纹理合成及感知损失的单张图像超分辨率增强方法，利用卷积神经网络实现前馈学习与对抗训练相结合，取得了高效、有效的成果。

Dec, 2016

DiffuseHigh: 基于结构引导的无训练渐进式高分辨率图像合成

现有大规模扩散模型受限于生成 1K 分辨率图像，本文提出基于渐进方法的创新研究，在不增加额外训练成本的情况下，利用低分辨率图像辅助生成高分辨率图像，实现了对生成模型超越原有能力的探索和验证。

Jun, 2024

SceneTex: 室内场景的高质量纹理合成基于扩散先验

SceneTex 是一种使用基于深度到图像扩散先验的方法，在室内场景中有效地生成高质量且样式一致的纹理。它通过在 RGB 空间中将纹理合成任务形式化为一个优化问题，正确反映了样式和几何一致性。SceneTex 通过多分辨率纹理场隐式编码网格外观，并通过基于分数蒸馏的目标函数在各自的 RGB 渲染中优化目标纹理。为了进一步确保视图之间的样式一致性，我们引入了交叉注意力解码器来通过交叉关注每个实例中的预采样参考位置来预测 RGB 值。SceneTex 在 3D-FRONT 场景中实现了各种准确的纹理合成，相比之前的纹理生成方法在视觉质量和快速保真度上有显着改进。

Nov, 2023

HiFA：高保真度文本到三维生成与高级扩散引导

我们通过使用扩散先验来改进已有的文本生成 3D 模型的技术，提出了一种新的训练方法，并应用了深度监督和密度场正则化来提高几何表示和图像质量。实验结果表明我们的方法在提高真实感和多视角一致性方面优于现有技术。

May, 2023

对抗纹理优化的初始化和对齐

本研究提出了一种基于几何图形的纹理生成方法，通过引入显式初始化和对齐程序来提高最新的对抗性纹理优化的鲁棒性，并将其应用于计算机视觉中的 11 个场景数据集中，能够获得相对于感知和锐度度量方面的 7.8％和 11.1％的相对改善。

Jul, 2022

无限纹理：基于文本引导的高分辨率扩散纹理合成

从文本提示生成任意大小的纹理图像的新方法，通过精调扩散模型实现单一 GPU 上任意分辨率的输出纹理图像，并展示了生成纹理在 3D 渲染和纹理转换中的两个应用。

May, 2024

HiFiHR: 通过高保真纹理增强单张图像的三维手部重建

我们提出了 HiFiHR，一种高保真度的手部重建方法，利用基于学习框架的单一图像的渲染和比较，能够生成视觉上逼真准确的三维手部网格，并恢复真实的纹理。我们的方法通过使用预定义纹理资产的参数化手部模型，并在训练过程中建立渲染图像和输入图像之间的纹理重建一致性，实现了优越的纹理重建结果。此外，通过在一个注释数据集上对网络进行预训练，我们运用自监督、弱监督和全监督等多种程度的监督方式，并讨论了学习到的高保真度纹理在增强手势和形状估计中的不同水平的贡献。在包括 FreiHAND 和 HO-3D 的公共基准测试上的实验证实，我们的方法在纹理重建质量方面优于最先进的手部重建方法，同时在姿势和形状估计方面保持可比的准确性。我们的代码可从此 https URL 获取。

Aug, 2023

基于纹理量化的高保真人脸反射率估计

本文介绍了一个新颖的面部 albedo 重建模型 HiFiAlbedo，通过使用廉价的纹理数据消除光照来直接从单个图像中恢复 albedo 图，并通过训练高保真面部纹理代码簿、微调纹理重建编码器和使用组标识损失学习纹理到 albedo 领域的自适应来实现高保真结果的实验验证。

Jun, 2024