Apr, 2015

Microsoft COCO 图片描述数据集与评估服务器

PDF
TL;DR本文描述了 Microsoft COCO Caption 数据集和评估服务器，数据集包含超过一百五十万个关于 330,000 张图像的描述性标题，并提供了基于 BLEU, METEOR, ROUGE 和 CIDEr 多个流行度量标准的算法评估方法。
发现论文，激发创造
  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014

  • SPEECH-COCO: 60 万对齐 MSCOCO 数据集的视觉对应口述字幕

    本研究介绍了 MSCOCO 数据集的增强版本，其中添加了语音和文本。使用文本转语音（TTS）合成生成语音说明，在语音信号中添加了不流畅和速度扰动以使其更加自然。此语料库可用于语言和视觉（LaVi）任务，其中包括语音输入或输出。同时在此数据集的一个子集上进行了初步的研究，探索了无监督语音模式发现的多模态学习方案。

    Jul, 2017

  • 跨语言图像标签、字幕和检索的 COCO-CN

    本文提出了 COCO-CN 数据集和推荐辅助集体注释系统，通过学习跨语言资源，完成了跨语言的图片标记、字幕和检索任务，为跨语言图像注释和检索领域做出了重要贡献。

    May, 2018

  • 基于排序和 LLM 融合的图像标注描述性改进

    本文提出了一种将 SoTA 模型生成的不同字幕进行有效融合的新方法，通过使用图像文本度量来排名模型生成的字幕，然后使用大语言模型（LLM）融合前两个字幕，实验结果表明，我们的方法可以增强字幕的质量和吸引力，缩小了自动化系统与人类生成的描述之间的差距，并开辟了为视觉 - 语言和字幕模型生成更适宜的字幕的新可能性。

    Jun, 2023

  • COCO-Text: 自然图像文本检测和识别数据集与基准

    本文介绍了 COCO-Text 数据集，该数据集基于 MS COCO 数据集，旨在推进自然图像的文本检测和识别。数据集中包含超过 173,000 个文本注释和超过 63,000 张图像，文本注释覆盖了文本的边界框、机器印刷文本和手写文本的分类、易读和难读文本的分类、文本的字体和可读文本的转录。本文还提供了数据集注释的准确性统计分析，并对三种最先进的光学字符识别方法在数据集上的表现进行了分析，结果表明文本检测和识别存在显著的不足，需要进一步研究。

    Jan, 2016

  • 盲人拍摄的图像字幕

    通过观察实际用户的需求，作者介绍了第一个适合盲人用户需求的图像说明数据集，检验数据集特征并比较其和其他数据集的不同，同时研究最新的图像说明算法在如此数据集中的挑战。

    Feb, 2020

  • 大规模的新物体字幕生成

    研究了如何从其他数据源中学习视觉概念，并创建了一个大规模的基准来评估新图像说明模型可以从中获得这些视觉概念的能力。

    Dec, 2018

  • CIDEr：基于共识的图像描述评估

    本文提出了一种基于人类共识的评估图像描述的新方法，包括新的基于三元组的人类注释方法、一种捕捉共识的新自动化指标（CIDEr）和包含 50 个对每个图像进行描述的句子的两个新数据集（PASCAL-50S 和 ABSTRACT-50S）。使用这种新协议评估了五种最先进的图像描述方法，并提供了未来比较的基准。

    Nov, 2014

  • COSMic: 一个针对图像描述的一致性感知生成度量

    本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

    Sep, 2021

  • 野外场景下的丰富图像描述

    本研究提出了一种图像描述系统，通过在先进的架构上建立深度视觉模型、实体识别模型和信心模型等方式，有效地解决了在野外环境下图像描述的质量、异领域数据处理和低延迟等挑战，并在领域内和领域外的数据集上都显著优于之前的最佳实践结果。

    Mar, 2016