AAAIDec, 2022

探索逐笔修改用于场景文本编辑

PDF
TL;DR提出了一种称为 MOSTEL 的新网络来处理场景文本编辑的两个主要问题：显式解耦结构和域差异。该方法利用笔划的导向图来明确指示文本区域进行编辑规则，并采用半监督混合学习来使模型适应实际数据集分布。实验结果表明，MOSTEL 在质量和数量上均优于之前的方法。
scene text editingmostelstroke guidance mapssemi-supervised learningreal-world datasets
发现论文，激发创造
  • PSGText: 带有 PSP 模块的基于笔画引导的场景文本编辑

    通过三阶段框架将文字在图像中进行替换，包括使用文字交换网络将原始文字替换为所需替代文字，结合背景修复网络巧妙地重建背景图像以保持视觉和谐，并通过融合网络综合合成最终编辑的图像。

    Oct, 2023

  • FAST：面向字体无关的场景文本编辑

    本文提出了一种名为 FAST 的新颖无字体场景文本编辑框架，用于在保留自然和逼真外观的同时，同时在任意样式和位置生成文本，通过结合遮罩生成和样式转移。通过滤波机制去除背景干扰，使网络仅集中于需要编辑的文本区域，同时设计了文本样式转移模块以减轻不同字长度带来的挑战，实验证明该方法在质量和数量上优于现有方法。

    Aug, 2023

  • 场景风格文本编辑

    本研究提出了一种名为 “场景风格文本编辑” 的任务，使用命名为 QuadNet 的四重框架在潜在特征空间中嵌入和调整前景文本样式，并在实际数据集上表现良好，实现前景文本内容和风格的深度编辑。

    Apr, 2023

  • 利用字体自适应神经网络的场景文本编辑器 STEFANN

    本文介绍了一种用于在图像中修改文本的方法，该方法使用两种不同的神经网络体系结构生成目标字符，以实现透明性、一致性和准确性，旨在通过在图像上直接编辑文本来纠正错误、恢复文本和提高图像可重用性。

    Mar, 2019

  • Text Gestalt: 基于笔画的场景文本图像超分辨率

    本文提出了一种 Stroke-Aware Scene Text Image Super-Resolution 方法，通过设计规则分解英文字符和数字，设计 Stroke-Focused Module（SFM）以集中于字符的笔画级内部结构，旨在通过预训练文本识别器为位置提供笔画级别的注意力图，并控制所生成的超分辨率图像与高分辨率真实值之间的一致性，从而实现低分辨率场景文本图像识别的目的。

    Dec, 2021

  • RewriteNet: 基于文本内容和风格的隐式分解实现可靠的场景文本编辑

    提出了一种新的基于 RewriteNet 的场景文本编辑模型，该模型将文本图像分解为内容和样式特征，并在原始图像上重新编写文本。该模型在采用自监督培训方案的情况下在合成和实际图像上都达到了更好的生成性能。

    Jul, 2021

  • 利用扩散模型对野外场景文字进行操作

    通过引入基于扩散的场景文本操作网络（DBEST），我们设计了两种适应策略，即一次性样式适应和文本识别引导，在各种场景文本数据集上进行了全面评估和比较，并提供了深入的消融研究来分析我们的性能提升。此外，我们还展示了我们提出的方法在合成场景文本方面的有效性，通过竞争的光学字符识别（OCR）准确度，在 COCO-text 和 ICDAR2013 数据集上达到了 94.15% 和 98.12% 的字符级评估。

    Nov, 2023

  • 野外文本编辑

    本文针对自然图像中的文本编辑问题，提出了一个端到端的训练风格保留网络（SRNet）来实现文本内容的替换和修改，实验证明与其他方法相比，该方法在视觉效果和定量结果上表现良好。

    Aug, 2019

  • 基于显式位置增强的鲁棒场景文本图像超分辨率

    本研究提出了一种名称为 LEMMA 的新方法，通过显式建模字符区域，生成具有高级文本特定引导的超分辨率图像，通过位置增强模块和多模态对齐模块提升字符区域的特征提取和视觉 - 语义对齐，并使用自适应融合模块将先验引导无缝融合到超分辨率分支中。在 TextZoom 和四个场景文本识别基准测试上的实验证明了本方法相对于其他最先进技术的优越性。

    Jul, 2023

  • 具有可控图像合成的自监督文字擦除

    研究提出了一种新的自监督文本擦除 (STE) 框架，该框架通过联合学习合成带有擦除的训练图像和精确擦除现实世界中的文本来实现无监督场景文本擦除，提出了一种基于两个合成机制的样式感知图像合成函数，通过选择两个特别设计的奖励来控制合成机制，使用三元擦除损失促进精炼阶段恢复背景纹理，最后使用新的数据集 PosterErase 和广泛使用的 SCUT-Enstext 数据集进行了评估。

    Apr, 2022