基于榜样的纹理合成调查
研究表明,随机浅层卷积神经网络的特征空间可以作为自然纹理的模型,可以用于纹理合成算法,并且相较于深层CNNs模型,浅层CNNs模型具有相当的性能。
May, 2016
本文介绍了一种基于生成对抗网络的例子合成方法,用于处理包括空间非同变、不均质等非稳态纹理,实现了大尺度结构的捕捉,其简单的概念性方法极有效,成为解决有挑战性的纹理的无其他现有方法可处理。
May, 2018
本文提出了一种新颖的纹理合成框架,可以根据2D示例图像生成无限高质量的3D纹理,通过训练深度神经网络模型进行纹理生成,其中采用了结合样式迁移和生成对抗网络思想的新型损失函数,将分析网络深度特征的Gram矩阵与合成网络匹配,同时还提出了两种架构概念和外推策略以提高泛化性能,并通过定量和定性评估以及用户研究证实了其胜于先前最先进模型的性能。
Jun, 2020
提出了一种基于转置卷积操作的新方法,通过对输入纹理的整个编码特征图作为转置卷积滤波器,以及捕捉自相关信息的特征相似性图作为转置卷积输入,从而在几乎实时的单次前向传递中一次性合成未见过的纹理。
Jul, 2020
该文提出了一种基于非线性小波表示的统计方法,其可以用作一层CNN的一种实例来提高图像纹理合成的视觉质量。该方法取代了以往经典的小波模型,并在灰度和彩色纹理上达到了与最先进模型相似的视觉效果。
Mar, 2022
本研究提出了一种自编码器体系结构,可以用于多纹理合成。该方法依赖于同时考虑二阶神经统计和自适应周期性内容的紧凑编码器和生成器,将图像嵌入一个紧凑和几何一致的潜空间,在这个空间内实现纹理表示和其空间组织的解耦。实验结果表明,该模型在视觉质量和各种纹理相关指标方面优于最先进的前馈方法。
Feb, 2023
我们提出了一种新的框架来纠正自然图像中降解纹理样本中的遮挡和扭曲问题,该框架通过从降级样本中合成整体纹理,扩展了基于样本的纹理合成技术的适用性。框架利用具有遮挡感知的潜变换器的条件潜扩散模型,既能够有效地编码部分观测样本中的纹理特征以完成潜扩散模型的生成过程,又能够明确地捕捉到具有大范围遮挡的样本中的长程依赖关系。实验结果表明,我们的框架在定量和定性方面显著优于现有方法。此外,我们进行了全面的消融研究,以验证我们建议的框架的不同组成部分。结果得到了感知用户研究的证实,并突显了我们提出方法的高效性。
Sep, 2023
本文提出了一种处理非稳定纹理合成的基于示例的方法,通过引入一种新的两步方法,用户首先使用标准图像编辑工具修改参考纹理,得到一个初步的目标合成图,随后采用自我校正的方法,利用预先训练的扩散网络和自注意力机制,渐进地将目标合成图与参考图进行对齐,从而保留所提供目标中的结构,并在非稳定纹理处理上取得了显著的进展。
Jan, 2024
从文本提示生成任意大小的纹理图像的新方法,通过精调扩散模型实现单一GPU上任意分辨率的输出纹理图像,并展示了生成纹理在3D渲染和纹理转换中的两个应用。
May, 2024