CVPRApr, 2019

Good News, Everyone! 基于语境的实体感知新闻图片标题生成

PDF
TL;DR该论文提出了一种新的图像描述方法，利用新闻文章中的上下文信息，动态扩展输出词典，通过可视化线索有选择性地从文章中提取信息，能够生成探究场景的描述，同时发表了最大的新闻图像字幕数据集 “GoodNews”，并展示了最先进的结果。
image captioningcontextual informationnews articlesnamed entitiesgoodnews
发现论文，激发创造
  • 实体感知新闻图像标题生成

    该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。

    Apr, 2020

  • 新闻图片标题生成的视觉感知上下文建模

    新闻图像字幕生成的自动化方法通过设计面部命名模块和检索策略以优化视觉信息处理，并超越之前的最佳性能表现。

    Aug, 2023

  • 为新闻图像字幕选择相关和充分的上下文

    本文提出了利用已预训练的视觉和语言检索模型 CLIP 来定位新闻文章中的可视化实体，并通过开放式关系抽取模型捕获非视觉实体，从而显着提高现有模型的性能和实现新的多个基准的最新性能。

    Dec, 2022

  • 视觉新闻：新闻图片字幕的基准和挑战

    提出了 Visual News Captioner，这是一种实体感知模型，用于新闻图像字幕的任务。同时，引入了 Visual News，这是一个规模较大的基准，其中包含 100 多万张新闻图片以及相关新闻文章，图像字幕，作者信息和其他元数据等。

    Oct, 2020

  • 基于规则的新闻字幕生成

    基于规则驱动的新闻字幕生成方法结合语义规则，将大规模预训练模型 BART 引导生成符合规则的新闻句子，并在两个广泛使用的数据集上验证了方法的有效性。

    Mar, 2024

  • 新闻报道场景下的图像描述

    图像字幕生成的研究探索了针对名人照片的任务，旨在通过更直观的图像字幕框架丰富新闻报道的叙述，从而增强自动化新闻内容生成，促进信息的更具细致的传播。

    Mar, 2024

  • ICECAP: 信息聚合的实体感知图像描述

    通过使用新闻文章提供的背景知识，我们提出了一种信息集中的实体感知新闻图片字幕（ICECAP）模型，该模型从句子级别到单词级别逐步集中于相关信息，并在 BreakingNews 和 GoodNews 数据集上进行广泛实验，证明了模型的有效性。

    Aug, 2021

  • 新闻图片标题生成中的新闻行业指南意识

    本篇论文提出了一种新的新闻文章图片标题生成方法，名为 JoGANIC，该方法基于新闻工作者遵循的标题指南，利用标题结构来提高生成质量和引导表示设计，实验结果表明，该方法在生成质量和命名实体相关指标上优于现有方法。

    Sep, 2021

  • 视频摘要：朝向实体感知字幕

    在这篇论文中，我们提出了直接生成有实体感知能力的新闻视频标题的任务，并发布了一个大规模数据集 VIEWS (VIdeo NEWS) 以支持该任务的研究。同时，我们还提出了一种方法，通过从外部世界知识中检索到的上下文来增强视频中的视觉信息，以生成具有实体感知能力的标题。通过在三个视频字幕模型上的广泛实验和见解，我们证明了我们方法的有效性，并且展示了我们的方法能够推广到现有的新闻图像字幕数据集。相信我们为这一具有挑战性的任务奠定了坚实的研究基础。

    Dec, 2023

  • 针对新闻图像字幕生成的实体感知多模态对齐框架

    新闻图像标题任务是图像标题任务的一种变体，要求模型生成与新闻图像和相关新闻文章更相关的标题。多模态大型语言模型在近年来得到快速发展，并在新闻图像标题任务中具有良好的前景。然而，根据我们的实验，普通的多模态大型语言模型在零样本学习环境中生成实体方面的能力还十分有限。仅仅在新闻图像标题数据集上进行微调后，它们处理实体信息的能力仍然不够。为了获得一个更强大的模型来处理多模态实体信息，我们设计了两个多模态实体感知对齐任务和一个对齐框架来对齐模型并生成新闻图像标题。我们的方法在 GoodNews 数据集上的 CIDEr 分数（72.33 -> 86.29）和 NYTimes800k 数据集上的 CIDEr 分数（70.83 -> 85.61）上取得了比先前最先进模型更好的结果。

    Feb, 2024