基于扩散的盲文本图像超分辨率
提出了一种基于扩散的场景文本图像超分辨率的框架 TextDiff,包含两个模块:文本增强模块 (TEM) 和基于掩模的残差扩散模块 (MRD)。实验证明,TextDiff 在公共基准数据集上实现了最先进的性能,同时提高了场景文本图像的可读性。
Aug, 2023
本文介绍了一种新的方法,利用预先训练的文本到图像扩散模型中所包含的先前知识来实现盲超分辨率,并通过引入可控特征包装模块和渐进聚合采样策略来克服扩散模型固定尺寸的限制,实现对任何大小分辨率的适应,并在综合评估中展示了该方法在超分辨率领域的优越性。
May, 2023
通过引入一个缩放因子,适应各种尺寸和长宽比的图像,在保持视觉保真度的同时,改善了低分辨率图像上目标不完整和高分辨率图像上重复表示的问题。
Jun, 2023
本研究使用文本条件扩散模型(DMs)实现场景文本图像超分辨率(STISR)任务,并提出了一个针对合成低分辨率 - 高分辨率配对文本图像数据集的新框架,该框架包含三个专门的 DMs 模块,分别用于文本图像合成、超分辨率和图像退化。实验证明,使用这些合成图像对可显著提高 STISR 方法在 TextZoom 评估中的性能。
Nov, 2023
本文提出了一种隐式扩散模型 (IDM),采用神经表示和去噪扩散模型,实现了高保真持续图像超分辨率,其缩放因子在最终输出中调节低分辨率信息和生成的特征的占比,它使模型适应连续分辨率需求,实验验证了 IDM 的有效性和优越表现。
Mar, 2023
图像修复是一个具有挑战性的任务,在近期,扩散模型在图像的生成上取得了显著的进展,但关于扩散模型在图像修复中的应用却鲜有综合且有启发性的研究,本文首次对基于扩散模型的图像修复方法进行全面的综述与评估,并提出了未来研究的五个潜在和具有挑战性的方向。
Aug, 2023
通过 prompt 学习,我们提出了一种学习扩散模型适当文本描述的框架,通过利用预训练扩散模型导出的质量指导和语义指导,我们的方法可以有效地学习提示,从而提高输入文本和生成图像之间的匹配。通过广泛的实验和分析,验证了所提方法的有效性。
Jan, 2024
在场景文本图像超分辨率的研究中,通过引入一种生成模型 RGDiffSR 和一种去噪网络 RGDN,本文通过语义引导实现了场景文本图像的高保真度图像增强,从而在文本识别准确度和图像保真度方面都取得了优于现有方法的结果。
Nov, 2023
使用预训练扩散模型(即 Stable Diffusion [27])进行文本图像生成的新方法,通过设计和训练轻量级字符级文本编码器,以更强的文本嵌入作为条件指导,使用大规模数据集微调扩散模型,在字符级分割图的监督下实现局部注意控制,通过推断阶段的优化过程,在合成给定图像中的文本时获得显著高的序列准确性。我们的方法优于现有技术,并展示了 UDiffText 的几个潜在应用,包括以文本为中心的图像合成、场景文本编辑等。
Dec, 2023