Apr, 2024

CVPR2024 NICE 图像字幕挑战的解决方案

PDF
TL;DR本文介绍了一种解决 2024 年 NICE 的 Topic 1 零射击图像字幕挑战的方法，通过检索增强和字幕评分方法有效地增强图像字幕，利用图像字幕模型生成的高质量字幕作为训练数据，利用基于手工模板的大规模视觉 - 语言预训练模型（OFA）执行图像字幕任务，并将字幕级策略与检索增强策略相结合，以生成更高质量、更匹配和语义丰富的字幕。基于这种方法，在排行榜上排名第一，在所有其他指标上都取得了第一名的成绩。
zero-shot image captioningnice 2024retrieval augmentationcaption gradingofa
发现论文，激发创造
  • CVPR2023 NICE 图像字幕挑战的解决方案

    我们在新的零样本图像字幕挑战中提出了解决方案，通过使用 Laion-5B 数据集进行数据级别和 OFA 模型进行模型级别的图像字幕任务，结合对齐图像文本对的对比学习和相似性桶策略，以及检索增强策略构建内容丰富的模板，最终在排行榜上取得了第一名的成绩。

    Oct, 2023

  • NICE 2023 零 - shot 图像标题挑战

    NICE 项目是挑战计算机视觉社区发展准确性和公平性都达到最新水平的强大图像字幕模型，通过测试使用一个包含多个领域的大量可视化概念的新评估数据集，没有提供特定的训练数据，要求适应在训练过程中没有见过的新型图像描述。该报告包括 NICE 数据集、评价方法、挑战结果和前列参赛作品的技术细节，预期挑战的结果将促进 AI 模型在各种视觉语言任务上的改进。

    Sep, 2023

  • ICCV 2023 第一届科学图像标题生成挑战的解决方案

    通过文本摘要生成图像标题，提取 OCR 信息，提取特定图像的信息，使用评估指标 BRIO 进行质量评估，获得最高的得分。

    Mar, 2024

  • 通过图像描述的方式改进多模态数据集

    通过探索不同的混合策略，我们发现合成字幕能够增加网络爬取数据点的效用，并且在 38 个任务中，对于 ImageNet 表现比 DataComp 基准提高 2%， 平均值提高 4%。此外，我们发现使用合成字幕进行多模态训练时，标准图像字幕基准的性能并不可靠，还对 1.28B 图像 - 文本对的大规模分析提供了对合成文本的局限性和随着训练数据数量增加图像筛选的重要性的见解。

    Jul, 2023

  • 大规模的新物体字幕生成

    研究了如何从其他数据源中学习视觉概念，并创建了一个大规模的基准来评估新图像说明模型可以从中获得这些视觉概念的能力。

    Dec, 2018

  • 从字幕到视觉概念的转换和回归

    本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

    Nov, 2014

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • 2015 MSCOCO 图像标注挑战赛的经验教训

    本篇论文介绍一种基于深度递归结构的生成模型，其结合了近期在计算机视觉和机器翻译方面的进展，能够用于生成描述图像的自然语言句子，并经过多种数据集的实验，验证了模型的准确性和语言的流畅性。更重要的是，该模型是通过对图像描述的学习而得，在最近的 COCO 数据集比赛中获得了与 Microsoft Research 团队平分秋色的好成绩，并提供了一个基于 TensorFlow 开源的实现。

    Sep, 2016

  • 实体感知新闻图像标题生成

    该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。

    Apr, 2020

  • 野外场景下的丰富图像描述

    本研究提出了一种图像描述系统，通过在先进的架构上建立深度视觉模型、实体识别模型和信心模型等方式，有效地解决了在野外环境下图像描述的质量、异领域数据处理和低延迟等挑战，并在领域内和领域外的数据集上都显著优于之前的最佳实践结果。

    Mar, 2016