该研究通过自学习模型和文本监督模型相结合，采用有意义的空间一致性对图像进行语义分割，增强了文本监督模型对物体边界的识别，实现了良好的分割效果。

Apr, 2023

该论文提出了一种利用文本边框的角点定位和定位相对位置的文本区域分割方法，结合了一般性物体检测和文本区域分割的优点，避免了它们的缺点，并在 ICDAR2013，ICDAR2015，MSRA-TD500，MLT 和 COCO-Text 上进行了实验，得出了比以前更好或相当的结果。

Feb, 2018

通过语义一致性合成、视觉显著性确定和自适应文本外观模型等三个创新设计，提出了一种新的图像合成技术，用于生成大量标注数据，以用于训练准确和稳健的场景文本检测和识别模型。五个公共数据集的实验证明了该技术在训练精确和稳健的场景文本检测和识别模型方面的卓越性能。

Jul, 2018

本文提出了一种基于弱监督学习的场景文本生成方法，通过跨语言生成，将场景文本图片的内容和样式特征分离，并引入整合式注意力模块和预先训练的字体分类器以保证生成图片的完整内容结构以及填补不同语言文本风格之间的差距，实验结果显示，该方法显著提高了场景文本识别精度。

Jun, 2023

本文介绍了以往自我监督的学习方式大多聚焦于图像级的表示学习，不能为无监督图像分割等需要空间多样的表示的任务带来改进，通过自我监督学习物体部件提出了新的解决途径，并结合目前趋势的 Vision Transformer，利用稠密聚类任务进行空间标记的微调，取得了在语义分割基准测试上超过 17%-3% 的最先进结果，且在完全无监督分割方面也具有重大潜力。

Apr, 2022

该论文提出了一种基于文本监督的语义分割方法，通过使用仅限于图像 - 文本对而不使用密集标注的方式学习一种能够在图像内部分割任意视觉概念的模型。通过图像 - 文本对的对比学习，有效地实现了视觉分割与文本的对齐。为了解决文本对齐与语义分割之间存在的问题，我们提出了一种新颖的框架，即图像 - 文本协同分解（CoDe），其中配对的图像和文本分别被共同分解为一组图像区域和一组单词片段，并且采用对比学习来强制执行区域 - 单词的对齐。为了配合视觉语言模型，我们提出了一种提示学习机制，从而衍生出额外的表示以突出显示感兴趣的图像段落或单词片段，从该段落中可以提取出更有效的特征。综合实验结果表明，我们的方法在六个基准数据集上优于现有的文本监督的语义分割方法。

Apr, 2024

通过引入辅助任务，利用全局稠密语义对比和自上而下建模来联合学习鲁棒特征，从而实现更强大的实时场景文本检测。

Aug, 2023

通过使用文本到图像合成框架（如 DALL-E、稳定扩散等），我们提出了一种新的范式，以自动产生具有准确标签的训练数据。该方法将训练数据生成分解为前景物体生成和上下文一致的背景生成部分，并演示了在五个物体检测和分割数据集上使用我们方法生成的合成数据用于训练可以产生与使用真实数据训练的模型性能相媲美甚至更好的目标检测器。

Sep, 2023

本文提出了一种通过图像 - 句子对学习的方法，以提取图像中本地化对象及其关系的图形表示，即场景图，其中利用了现成的对象检测器来识别和定位对象实例，并通过掩码标记预测任务预测伪标签以学习场景图。通过学习图像 - 句子对，我们的模型相较于使用人工注释的非定位场景图训练的最新方法获得了 30％的相对增益。同时，在弱监督和全监督场景图生成方面，我们的模型也展现了出色的结果，我们还探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。

Sep, 2021

本文提出了第一个完全无监督的方法，用于在真实场景的序列中分割多个对象，通过空间绑定对象并将这些槽联系起来，在高级语义特征空间中重建中间帧，解决了效率和规范化问题，成功地在 YouTube 视频中分割了复杂且多变的类别的多个实例。

Oct, 2023