EMNLPNov, 2023

通过预测结构化概念提升图像字幕生成

PDF
TL;DR本文介绍了一个基于结构化概念预测器的图像描述生成方法，通过构建带有权重的图卷积网络，可以有效地捕捉概念间关系，并区分性地学习各个概念，从而更好地结合图像和文本信息生成描述。经过广泛实验验证了该方法及其各个模块的有效性。
semantic gapimage captioningstructured concept predictorweighted graph convolutional networkscross-modal semantics
发现论文，激发创造
  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • 基于语义概念引导的多样化视频字幕集预测

    通过对影片的多个方面进行描述，我们提出了一种语义概念引导的集合预测方法，其中包含了生成影片描述和预测概念组合的辅助任务，并应用多样性正则化项以鼓励生成具有不同概念组合的语义多样的描述，通过在基准数据集上进行广泛实验，我们的方法在相关性和多样性指标下达到了最先进的性能。

    Dec, 2023

  • 将语义概念注入端到端图像字幕生成

    本文提出了一种全新的视觉变换器（Vision transformer-based）图像标题模型 ViTCAP，使用网格表示而不提取区域特征。为了提高性能，引入了基于 Vision Transformer 的概念令牌网络（CTN），可以高效地预测语义概念，并将其整合到端到端的标题生成中，从而实现竞争性能，同时简化了结构。

    Dec, 2021

  • 探索语义关系的非配对图像字幕生成

    本文提出了一种跨越视觉和语言领域的高级语义信息桥接技术，以实现无配对图像说明，并引入了基于语义概念关系探索的解决方案 ——Semantic Relationship Explorer，能够有效地提高图像说明的质量，并且在 MSCOCO 数据集下总体得分比配对数据集高出 8%。

    Jun, 2021

  • 构建语义间隔以实现语言引导的语义分割

    通过提出概念整理（CoCu）的流程，借助 CLIP 来弥补语义缺失，将视觉和文本语义之间的差距缩小，从而在预训练数据中增加了更多的视觉概念，并在零样本迁移和语义分割等方面取得了卓越的性能。

    Sep, 2023

  • 对图像字幕生成所需的语言单词与视觉语义单位进行对齐

    本文提出了一种结合图卷积网络（GCN）的视觉语义单元对象相互作用的图形语义和几何建模方法，利用上下文门控注意力模块将当前单词与视觉语义单元对齐，针对 MS-COCO 图像字幕数据集，与现有方法相比报告了更好的结果。

    Aug, 2019

  • 无监督图像字幕生成

    本研究说明无监督学习是可行的图像字幕生成方式，通过利用具有视觉概念检测器的图像集和句子语料库进行训练，生成的字幕能够与图像的语义内容一致且无需图片字幕标注。

    Nov, 2018

  • 探究图像关系以用于图像描述

    本文介绍了一种利用图卷积网络和长短期记忆（GCN-LSTM）结构，将语义和空间对象关系集成到图像编码器中，以生成图像标题的新方法，并在 COCO 图像字幕数据集上开展了广泛的实验，并取得了比现有方法更好的结果。

    Sep, 2018

  • RefineCap: 图像字幕的概念感知细化

    该论文提出了一种新型模型 RefineCap，使用解码器引导的视觉语义来完善语言解码器的输出词汇，并隐式地学习图像与视觉标签词之间的映射，其提出的视觉概念完善方法可允许生成器关注图像中的语义细节，从而生成更具有语义描述性的标题。在与以前基于视觉概念的模型相比，我们的模型在 MS-COCO 数据集上实现了优越的性能。

    Sep, 2021

  • 视觉字幕的语义组合网络

    该研究提出了一种基于语义组合网络的图像和视频片段字幕生成方法 (SCN)，采用概率建模技术和长短时记忆网络 (LSTM)，并在多个基准数据集上评估和验证了其优越性能。

    Nov, 2016