Jan, 2019

利用知识图谱提高图像字幕生成的性能

PDF
TL;DR本文探讨了使用抓取通用或常识性知识的知识图谱来增强最先进的图像字幕生成方法从图像中提取的信息，实验结果表明，利用从知识图谱中提取的信息的最先进方法，在诸如 MS COCO 等多个基准数据集上，可以比仅依赖于从图像中提取的信息的方法实现显著更好的性能，其中性能用 CIDEr-D 评估。
knowledge graphsimage captioningbenchmark data setsperformance metricinformation extraction
发现论文，激发创造
  • 利用知识图谱进行图像分类

    本文介绍了一种使用结构化先验知识的方法，包括知识图谱和图搜索神经网络，以在图像分类流程中有效地融入大型知识图谱，并在多标签分类方面优于标准神经网络基线。

    Dec, 2016

  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • 面向图像标注的检索增强架构

    通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocaps 数据集上的实验证实了我们的方法，证明了显式外部存储器的纳入可以显著提高标题的质量，尤其是在更大的检索语料库中。此研究为改善大规模的图像字幕生成打开了新的研究方向。

    May, 2024

  • 多模态知识图谱增强实体感知图像描述

    该研究提出一种构建多模态知识图谱，将视觉对象和命名实体联系起来并同时捕捉实体之间的关系在内的新方法，以帮助名实体感知图像并生成更具信息量的事件描述。

    Jul, 2021

  • 在预训练模型中加入常识知识图谱以进行社交常识任务

    该研究提出了两种方法，通过外部常识知识图谱，隐式或显式地融入到预先训练好的自然语言处理模型中，以提高社交智能，这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。

    May, 2021

  • 使用知识引导辅助描述包含新型物体的自然图像

    提出一种使用知识库指导的、包括多个抽象概念的多实体标签图像识别模型，在描绘描绘未知 / 新物体的图像生成模型中，利用第一步预测的抽象概念作为外部语义关注和约束推理的依据，以处理野外图像中的抽象概念，对 MSCOCO 数据集进行了实验验证，结果显示出了优于以前大部分工作的性能，并可用于知识和视觉的通用集成。

    Oct, 2017

  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 通过常识推理和知识，利用场景描述图将图像转换为句子

    本文提出了一种利用视觉场景中的场景描述图（SDG）从图像中提取语言描述的方法，该方法通过自动构建的知识库应用视觉和推理的方式构建 SDG，并使用自然语言处理的图像注释进行的 “常识” 知识库和来自资源（如 WordNet）的词汇本体知识。通过针对 Flickr8k、Flickr30k 和 MS-COCO 数据集的基于 Amazon Mechanical Turk（AMT）的评估，我们的方法获得的自动构建句子的 SDGs 通常比基于最新的最先进的图像标题方法更相关和全面的描述了图像。我们的图像 - 句子对齐评估结果也与最新的最先进方法相当。

    Nov, 2015

  • 利用外部百科知识生成图像描述

    本文提出了一种使用图像特定的百科全书数据生成上下文化标题的新方法，并通过在编码和解码阶段将其整合到标题生成流程中来使其与图像相关。在新数据集上测试，结果表明该方法能有效地生成准确有关图像的标题。

    Oct, 2022

  • 场景图是否足够好以改进图像字幕？

    本文探讨了使用场景图在图像字幕生成中的应用，研究表明添加场景图编码器可以提高字幕描述效果，提出了一种 C-GAT 模型，该模型条件化图更新功能，使用高质量的场景图可与现有的底部 - 顶部基准模型相比获得 3.3 CIDEr 改进。

    Sep, 2020