MMApr, 2020

新闻部门升级：新闻文章自动图片选取系统

PDF
TL;DR本文提出了一个自动化图像选择系统，用于协助编辑在新闻文章中选择合适的图片。该系统融合了从新闻文章中提取的多个文本来源，并接受多语言输入。它配备有字符级词嵌入，以帮助对形态丰富的语言建模，并在靠近的语言之间转移知识。文本编码器采用分层自注意机制，更多地关注文本中的关键字和新闻文章的信息组成部分。我们在瑞士本地新闻媒体网站收集的多模态多语言新闻文章的大规模文本 - 图像数据库上进行了广泛的实验。在弱监督学习设置中，将该系统与多个基线方法进行比较，并显示超过了现有的文本 - 图像检索方法。除此之外，我们还提供了使用多个文本来源和多语言数据的优势见解。
发现论文，激发创造
  • 新闻报道：通过图像和文本处理进行文章注释

    本文提出了一种新颖的深度学习方法，适用于解决文字描述与图片内容松散相关的情况。这种方法在多任务和迁移学习中表现良好，可以有效地检测图片来源、预测热度、插图以及文章地理位置等问题。同时，研究人员构建了一个新的语料库以供研究者使用。研究表明，该方法在新闻文章的领域中具有很强的实用性。

    Mar, 2016

  • Good News, Everyone! 基于语境的实体感知新闻图片标题生成

    该论文提出了一种新的图像描述方法，利用新闻文章中的上下文信息，动态扩展输出词典，通过可视化线索有选择性地从文章中提取信息，能够生成探究场景的描述，同时发表了最大的新闻图像字幕数据集 “GoodNews”，并展示了最先进的结果。

    Apr, 2019

  • 实体感知新闻图像标题生成

    该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。

    Apr, 2020

  • 为新闻图像字幕选择相关和充分的上下文

    本文提出了利用已预训练的视觉和语言检索模型 CLIP 来定位新闻文章中的可视化实体，并通过开放式关系抽取模型捕获非视觉实体，从而显着提高现有模型的性能和实现新的多个基准的最新性能。

    Dec, 2022

  • 视觉新闻：新闻图片字幕的基准和挑战

    提出了 Visual News Captioner，这是一种实体感知模型，用于新闻图像字幕的任务。同时，引入了 Visual News，这是一个规模较大的基准，其中包含 100 多万张新闻图片以及相关新闻文章，图像字幕，作者信息和其他元数据等。

    Oct, 2020

  • 新闻故事：用视觉摘要来说明文章

    该研究探索了一个新的问题，即学习对不同长度和数量的图像文本具有强鲁棒性的自我监督视觉语言表示法，其介绍了一个包括超过 31M 篇文章，22M 张图片和 1M 个视频的大规模多模态数据集，并表明最先进的图像文本对齐方法不能很好地处理带有多张图像和更长篇幅的叙述，且还提出了一种直观的基线方法，在 GoodNews 数据集上零样本图像集检索表现比这些方法高出 10%。

    Jul, 2022

  • NewsEmbed: 预训练文档表示模型对新闻进行建模

    本文提出了一个新颖的方法，使用少量人为监督来挖掘具有语义相关性的新鲜文档及其主题标签，并设计了一个多任务模型 - NewsEmbed，交替使用对比学习和多标签分类来推导通用文档编码器，在多个自然语言理解任务中实现了出色的性能表现。

    Jun, 2021

  • 新闻图片标题生成的视觉感知上下文建模

    新闻图像字幕生成的自动化方法通过设计面部命名模块和检索策略以优化视觉信息处理，并超越之前的最佳性能表现。

    Aug, 2023

  • 一幅画胜千言：用于生成多样化字幕和富有表现力图像的统一系统

    该研究采用创意图像和文本生成 AI 系统，通过多模态框架实现了多样化的标题和图像创建，同时采用 Transformer 网络模型支持多种标题参考，采用非自回归解码策略实现实时推断。

    Oct, 2021

  • 基于 Transformer 的维基百科图像标题匹配多模态提议与重新排序

    本文介绍了我们为参加 Kaggle 上的 Wikipedia 图像 - 字幕匹配挑战而设计的系统，该系统使用与图像相关的数据（URL 和视觉数据）来在一个庞大的字幕库中找到正确的字幕。我们提出了两个基于 Transformer 模型的级联模型，能有效地推断查询图像数据与字幕之间的相关度，并通过广泛的实验验证了其在处理大量的图像和字幕时的效果，同时完成一定的验证时间复杂度。在 Kaggle 的私人排名中，我们的方法的标准化折扣累积增益值（nDCG）达到了 0.53。

    Jun, 2022