ICCVSep, 2019

图像字幕层次分析

PDF
TL;DR该论文提出了一种基于分层结构的图像编码器，通过将图像分解为实例级别、区域级别和整体级别的层次结构，引入了分层解析（HIP）架构，大大提高了基于神经网络的图像描述性能，结合图卷积网络（GCN）可以进一步提高描述性能。
image understandinghierarchy parsingtree-structured lstmneural captioninggraph convolutional networks
发现论文，激发创造
  • 生成描述性图像段落的分层方法

    本文提出一种生成整段文字描述图片的方法，相比仅仅用一句话进行描述，该方法能够提供更加细致以及连贯的故事情节。该方法使用了分层递归神经网络对图片中的语义区域以及自然语言进行建模并生成整段文字。在实验中该方法被证明是较为有效的。

    Nov, 2016

  • phi-LSTM：一种面向短语的分层 LSTM 图像字幕生成模型

    本文提出了一种基于短期长期记忆（LSTM）和卷积神经网络（CNN）的基于短语层次结构的模型，可用于生成图像描述。该模型以序列化的短语和单词组合而不是通常的序列化单词作为输入，分别学习生成图像相关的名词短语，然后从语料库中的短语和其他单词生成适当的图像描述，并在 Flickr8k 和 Flickr30k 数据集上取得了更好或相当的结果。

    Aug, 2016

  • 分层开放词汇通用图像分割

    本文提出了一种层次化结构的图像分割方法，包括分层表示和分裂的文本图像融合机制，并成功应用于多种分割任务中，包括语义、实例和部分级别的图像理解。

    Jul, 2023

  • 草图图像主旨：仿人分层场景图生成

    介绍了一种新的场景图生成方法，该方法利用人类对图像给出主要对象和关键关系的认知习惯构建一个基于层次结构的人类模拟分层实体树，利用 Hybrid-LSTM 对树进行解析来生成场景图，并且设计了一个关系排序模块，动态调整场景图中的关键关系的排序来提升图像的下游任务表现。

    Jul, 2020

  • 层次 LSTM 几何场景解析

    本研究提出了一种名为 Hierarchical Long Short-Term Memory（H-LSTM）的循环神经网络模型，它包含两个耦合子网络，即 Pixel LSTM 和 Multi-scale Super-pixel LSTM，用于处理表面标记和关系预测，分别提供补充信息以利用分层场景上下文，联合优化以提高性能，并能在几何场景中解析场景几何结构，并且具有优秀的 3D 重建结果。

    Apr, 2016

  • 自适应注意力的分层 LSTM 用于视觉字幕生成

    通过引入自适应注意力机制以及分层 LSTM（Hierarchical LSTM），提出了一种基于注意力的编码器 - 解码器框架，并在图像和视频描述生成领域通过应用空间或时间注意力机制进行预测。实验表明所提出的框架在图像和视频描述生成任务中均取得了最先进的性能，同时还充分探讨了其各个组成部分的重要贡献。

    Dec, 2018

  • HiCLIP: 基于分层感知注意力的对比语言 - 图像预训练

    本文提出了用层级感知的注意力机制改进 CLIP 模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。

    Mar, 2023

  • 通过学习图像描述实现深度结构场景解析

    本文提出了一种基于深度架构的场景理解方法，通过一个卷积神经网络和一个递归神经网络分别提取图像特征和分层物体结构，结合基于描述性语句的弱监督训练，实现场景图像的自动解析，该方法在 PASCAL VOC 2012 数据集上表现出色。

    Apr, 2016

  • 探究图像关系以用于图像描述

    本文介绍了一种利用图卷积网络和长短期记忆（GCN-LSTM）结构，将语义和空间对象关系集成到图像编码器中，以生成图像标题的新方法，并在 COCO 图像字幕数据集上开展了广泛的实验，并取得了比现有方法更好的结果。

    Sep, 2018

  • 学习语义神经树用于人体解析

    本文介绍了一种基于分层语义分割任务的人体解析方法，其使用设计的分级树结构来编码人体生理结构，并在一组内联的过程中生成准确的结果。实验结果表明该方法具有较高的准确性和可行性。

    Dec, 2019