Apr, 2022

具有可控图像合成的自监督文字擦除

PDF
TL;DR研究提出了一种新的自监督文本擦除 (STE) 框架，该框架通过联合学习合成带有擦除的训练图像和精确擦除现实世界中的文本来实现无监督场景文本擦除，提出了一种基于两个合成机制的样式感知图像合成函数，通过选择两个特别设计的奖励来控制合成机制，使用三元擦除损失促进精炼阶段恢复背景纹理，最后使用新的数据集 PosterErase 和广泛使用的 SCUT-Enstext 数据集进行了评估。
text erasingself-supervised learningimage synthesiscoarse-to-fine erasing networkpostererase dataset
发现论文，激发创造
  • 场景文本擦除器

    本文提出了一种通过卷积神经网络模型擦除自然场景图像中文字信息的方法，并通过场景文本检测方法对其性能进行了测试，证明了与直接文本检测方式相比，场景文本擦除过程显着降低了精度、召回率和 F1 值。

    May, 2017

  • 野外文本编辑

    本文针对自然图像中的文本编辑问题，提出了一个端到端的训练风格保留网络（SRNet）来实现文本内容的替换和修改，实验证明与其他方法相比，该方法在视觉效果和定量结果上表现良好。

    Aug, 2019

  • 场景风格文本编辑

    本研究提出了一种名为 “场景风格文本编辑” 的任务，使用命名为 QuadNet 的四重框架在潜在特征空间中嵌入和调整前景文本样式，并在实际数据集上表现良好，实现前景文本内容和风格的深度编辑。

    Apr, 2023

  • 利用模拟图像擦除进行弱监督语义分割的知识迁移

    我们提出了一种知识传输与模拟跨图像擦除（KTSE）的方法，用于弱监督语义分割，以减轻局部激活不足和过度扩张的问题。我们通过引入额外的对象信息，来削弱原始激活，然后将对象知识从锚点图像传输到后续较少激活的定位图，以增强网络的定位能力，并通过自监督正则化模块来改善在包含多个对象类别的复杂图像中的异类对象边界识别。

    Jul, 2024

  • 样式生成：基于粗略匹配的图像合成

    使用粗略匹配的文本作为引导，本研究介绍了一种新颖的基于文本的风格生成方法，通过两阶段的生成对抗网络生成与细化图像风格，并通过实验证实了该方法的有效性和实际应用价值。

    Sep, 2023

  • MTRNet: 通用场景文本擦除器

    提出了一种基于掩模的文字删除方法（MTRNet），作为一种有条件的对抗性生成网络（cGAN），配备辅助掩模使其成为通用文本擦除工具，该算法在多个真实数据集上实现了最先进的结果。

    Mar, 2019

  • 逼真图像合成用于准确识别场景中的文本

    通过语义一致性合成、视觉显著性确定和自适应文本外观模型等三个创新设计，提出了一种新的图像合成技术，用于生成大量标注数据，以用于训练准确和稳健的场景文本检测和识别模型。五个公共数据集的实验证明了该技术在训练精确和稳健的场景文本检测和识别模型方面的卓越性能。

    Jul, 2018

  • 用少样本反学习从文本到图像扩散模型中消除概念

    通过更新文本编码器使用少量真实图像，我们提出了一种新颖的概念擦除方法，可以在 10 秒内擦除概念，实现了比当前方法快数十到数百倍的概念擦除，隐含地过渡到相关概念，实现更自然的概念擦除。

    May, 2024

  • 只保留模型的手术概念擦除在文本到图像扩散模型中

    通过手术更新分类器导向项、限制无条件得分项的变化，以及赋予用户选择擦除概念的替代方案的能力，我们提出了一种能够有效擦除目标概念并保留生成能力的新方法。

    Dec, 2023

  • 绕过文本到图像生成模型的概念消除方法

    从文本到图像生成模型到 AI 安全的概念消除方法，这篇论文研究了五种最近提出的概念消除方法，并展示了这些方法中没有一个能完全抹除目标概念，并通过利用特殊的学习词嵌入证明了目标概念可以从消除后的模型中找回，这突显了事后概念消除方法的脆弱性，并对其在 AI 安全算法工具箱中的使用产生了质疑。

    Aug, 2023