ICCVSep, 2023

SCOB: 利用字符级有监督对比学习与在线文本渲染进行跨域差异缩小的通用文本理解

PDF
TL;DR本研究探究了广泛领域中的有效预训练任务，并提出了一种名为 SCOB 的前馈方法，通过缩小领域差距，利用字符级别的监督对比学习和在线文本渲染来有效地预训练文档和场景文本领域。广泛的基准测试表明，SCOB 通常改进了原始预训练方法，并达到了与最先进方法相媲美的性能。
lm-based pre-trainingdocument understandingvisual documentscene text imagespre-training method
发现论文，激发创造
  • CoBIT：一种对比式双向图像文本生成模型

    提出了一个新的 Contrastive Bi-directional Image-Text generation (CoBIT) 模型，具有 unicoder-decoder 结构，可同时应用于图像理解、图像与文本相互理解和文本创作，特别是在零样本场景下表现卓越。

    Mar, 2023

  • Language Matters: 一种弱监督的视觉 - 语言预训练方法用于场景文字检测和定位

    本文提出了一种弱监督的预训练方法 oCLIP，该方法通过联合学习视觉和文本信息来获取有效的场景文本表示，并能从弱注释文本中学习，可以有效地应对 OCR 任务。实验证明，该方法在多个公共数据集上都优于现有的预训练技术。

    Mar, 2022

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 单正多标签识别语义对比自举

    本研究提出了一种基于语义对比引导的递归语义掩蔽转换器和引导框架，用于解决多标签图像识别中单一正标签的困难问题，通过迭代优化网络参数和细化语义指导，显著提高了多标签图像识别的性能。

    Jul, 2023

  • CatLIP: 在 Web 规模的图文数据上 2.7 倍速度预训练的 CLIP 级别视觉识别准确性

    通过对网络规模的图像文本数据进行弱监督预训练，本论文提出了一种消除对比损失中成对图像和文本相似性计算的需要的方法，在训练速度上取得了显著的 2.7 倍加速。通过广泛的实验证明，该方法在各种视觉任务中具有高质量的表征。

    Apr, 2024

  • Oscar: 面向视觉语言任务的对象 - 语义对齐预训练模型

    本文介绍了一种基于目标检测的图像 - 文本预训练学习方法 Oscar，通过使用在图像中检测到的目标标签作为锚点，显著简化模型中的图像与文本的语义对齐，使其在六个视觉 - 语言理解和生成任务中创造了新的最好成果。

    Apr, 2020

  • PreSTU：场景文本理解的预训练

    本文介绍了一种新的预训练方法 PreSTU，利用 OCR 技术将场景中的文本信息识别并与图像其余内容连接起来，经实验证明在视觉问答和图像字幕等任务中取得了良好的效果。

    Sep, 2022

  • 基于物体对比学习的视觉 - 语言预训练技术在三维场景理解中的应用

    本文提出了一种 3D 视觉语言预训练框架 3DVLP，可以在 3D 视觉语言下游任务中有很好的表现，该框架考虑了场景中物体的关联性，提出了多个任务来实现对象级交叉对齐和区分，与任务特定方法相比具有更好的泛化性能。

    May, 2023

  • 面向检测的图像 - 文本预训练的开放词汇测量

    基于检测导向的图像 - 文本预训练的新的开放词汇检测方法用于填补图像级预训练和开放词汇对象检测之间的差距，通过使探测器头从嘈杂的图像 - 文本对中学习，我们的方法能够利用对比损失学习到新出现的对象 - 语义线索，在 LVIS 和 COCO 基准测试中均获得了非常有竞争力的结果，并在转移检测设置中显著优于基线。

    Sep, 2023

  • ODM：场景文本检测和定位的文本图像进一步对齐预训练方法

    提出了一种新的预训练方法，OCR-Text Destylization Modeling（ODM），能够更好地对齐文本和 OCR-Text，使预训练模型适应场景文本检测和识别任务中的复杂多样的风格，并通过新的标注生成方法和 Text-Controller 模块降低了 OCR 任务中的标注成本，从而使更多的无标签数据参与预训练。大量的实验证明了该方法在场景文本检测和识别任务中显著提高了性能，并超过了当前预训练方法。

    Mar, 2024