Jan, 2016

COCO-Text: 自然图像文本检测和识别数据集与基准

PDF
TL;DR本文介绍了 COCO-Text 数据集，该数据集基于 MS COCO 数据集，旨在推进自然图像的文本检测和识别。数据集中包含超过 173,000 个文本注释和超过 63,000 张图像，文本注释覆盖了文本的边界框、机器印刷文本和手写文本的分类、易读和难读文本的分类、文本的字体和可读文本的转录。本文还提供了数据集注释的准确性统计分析，并对三种最先进的光学字符识别方法在数据集上的表现进行了分析，结果表明文本检测和识别存在显著的不足，需要进一步研究。
发现论文，激发创造
  • 带有文本的房间数据集用于叠加文本检测

    本文介绍了一份新的数据集，其中包含 25 种产品类别的 4836 张带有叠加和场景文本的房间内部图片。我们提供了数据集的详细信息和分析结果，并提出了一种基线方法，该方法利用字符區域感知文本检测框架引导分类模型进行文本检测。我们验证了我们的方法，并展示了其在二分分类度量方面的高效性，最终达到了 0.95 的 F1 得分，误报率和漏报率分别为 0.02 和 0.06。

    Nov, 2022

  • 面向任意形状场景文本的大规模端到端推理

    本文利用收集在 TextVQA 数据集的真实图像上的 900K 个文本单词，提出了任意形状的场景文本​​检测和识别系统 TextOCR，使用该系统训练的 OCR 模型 PixelM4C 在图像上进行场景文本​​推理，以达到新的 TextVQA 数据集上的最新性能水平。

    May, 2021

  • 自然场景下的中文识别

    介绍一个街景图中的大规模中文文本数据集，该数据集包含超过 30,000 张街景图中的大约 1 百万个中文字符，同时提供基准结果使用 AlexNet，OverFeat，Google Inception 和 ResNet 进行字符识别，使用 YOLOv2 进行字符检测。

    Feb, 2018

  • Microsoft COCO：上下文中的通用物体

    本研究旨在推进目标识别的最新进展，提出了一种数据集的形式，通过将目标识别的问题置于场景理解的更广泛背景下，聚集了包含常见物品的复杂日常场景的图像，并利用每个实例分割对物品进行标记以协助精确定位，该数据集包含 91 种 4 岁儿童容易识别的对象类型，有 328k 张图像和 250 万个标记实例。本文最终提供了一种基于可变形零件模型的边界框和分割检测结果的基线性能分析。

    May, 2014

  • 跨语言图像标签、字幕和检索的 COCO-CN

    本文提出了 COCO-CN 数据集和推荐辅助集体注释系统，通过学习跨语言资源，完成了跨语言的图片标记、字幕和检索任务，为跨语言图像注释和检索领域做出了重要贡献。

    May, 2018

  • 图像字幕视觉语义关联数据集

    本论文介绍了一种文本视觉背景数据集，用于改进现代图像描述系统，通过融合与场景相关的文本信息，提高图像描述的准确性及语义关联性。

    Jan, 2023

  • TextCaps：一种带有阅读理解的图像字幕数据集

    该研究创建了一个新的数据集 TextCaps，涉及 28k 张图片和 145k 个标题，用于挑战计算机视觉模型识别图像中的文本，与视觉环境进行关联，并决定要复制或释义文本的哪个部分。研究表明，这个新的数据集提供了许多前所未有的技术挑战。

    Mar, 2020

  • DDI-100: 文本检测和识别数据集

    本文提出了扭曲文档图像数据集（DDI-100），该数据集是基于 7000 张真实唯一的文档页面的合成数据集，包含超过 100000 个增强图像，标注信息包括文本和邮戳掩模、文本和字符边界框等，验证结果表明该数据集在文档分析等多种领域有很好的实用价值。

    Dec, 2019

  • RoCOCO：鲁棒性基准 MS-COCO 以测试图像文本匹配模型的鲁棒性

    本文提出了一个新的评估基准来测试 ITM 模型的稳健性，加入了各种欺骗性图像和标题来检测模型。结果发现，添加这些图像和标题会降低 SOTA 模型的性能，预计这些结果能提高模型的鲁棒性和引入更多的评估方法。

    Apr, 2023

  • ChatPainter：利用对话改进文本到图像生成

    本文研究使用对话来提高基于文本描述合成逼真图像的模型在 Microsoft COCO 数据集上的生成效果和 Inception Score（评估图像质量的指标）。

    Feb, 2018