Nov, 2023

利用扩散模型对野外场景文字进行操作

PDF
TL;DR通过引入基于扩散的场景文本操作网络（DBEST），我们设计了两种适应策略，即一次性样式适应和文本识别引导，在各种场景文本数据集上进行了全面评估和比较，并提供了深入的消融研究来分析我们的性能提升。此外，我们还展示了我们提出的方法在合成场景文本方面的有效性，通过竞争的光学字符识别（OCR）准确度，在 COCO-text 和 ICDAR2013 数据集上达到了 94.15% 和 98.12% 的字符级评估。
发现论文，激发创造
  • 使用扩散模型增强场景文本检测器的真实文本图像合成

    通过扩充背景与前景文字的整合，Diffusion Model based Text Generator (DiffText) 创造了一种能生成真实文本图像并优化文本探测器性能的新型合成数据集方法。

    Nov, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 使用双编码器改进场景文本编辑的扩散模型

    DIFFSTE 是一个改善预训练扩散模型性能的双编码器设计框架，通过指令调整训练，实现了场景文本编辑中正确文本渲染和风格控制的任务，使其具有零 - shot 泛化能力。

    Apr, 2023

  • SceneTextGen: 使用扩散模型的无局限布局的场景文字图像合成

    SceneTextGen 是一种基于扩散模型的新颖方法，通过集成具有详细排版属性的字符级编码器，字符级实例分割模型和词级定位模型，以实现更自然和多样化的文本生成，从而提高了生成图像上的字符识别率。

    Jun, 2024

  • DiffusionSTR: 场景文本识别的扩散模型

    该论文提出了一种名为 DiffusionSTR 的扩散模型场景文字识别框架，将场景文字识别任务视为图像上的文本 - 文本转换，实现了竞争性的准确性。

    Jun, 2023

  • 基于详细人类中心文本描述的大规模场景合成

    DetText2Scene 是一种新颖的文本驱动大规模图像合成方法，具有高度的忠实度、可控性和自然性，在全局范围内实现了对详细人类中心化文本描述的合成。

    Nov, 2023

  • 基于扩散的盲文本图像超分辨率

    我们提出了一种基于扩散模型的文本图像超分辨率恢复方法（DiffTSR），该方法可以同时恢复具有更准确文本结构和更逼真外观的文本图像。

    Dec, 2023

  • 利用字体自适应神经网络的场景文本编辑器 STEFANN

    本文介绍了一种用于在图像中修改文本的方法，该方法使用两种不同的神经网络体系结构生成目标字符，以实现透明性、一致性和准确性，旨在通过在图像上直接编辑文本来纠正错误、恢复文本和提高图像可重用性。

    Mar, 2019

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023