ICCVSep, 2021

全景叙事基础

PDF
TL;DR本文提出了一种名为全景叙事基础的新型任务，包括新的实验框架、地面真值和指标，并提出了一个强大的基线方法。文章提出了一种算法，将分布式叙事注释传输到 MS COCO 数据集的普透明分割的特定区域。通过使用分割，文中还以精细的层次接近视觉基础问题，并通过包括全景类别来实现图像的内在语义丰富度。
panoptic narrative groundingnatural language visual groundingpanoptic categoriessegmentationsms coco dataset
发现论文，激发创造
  • 基于端到端网络的实时全景叙事性 grounding

    本研究提出了一种用于实时 PNG 的单阶段网络，名为端到端全景叙事接地网（EPNG），通过将两个创新设计：局部感知关注（LPA）和双向语义对齐损失（SAL），用于处理文本表达式和视觉对象之间复杂的多对多关系，从而直接生成指示物的掩模，以及提高分段结果和语义一致性的泛化能力。

    Jan, 2023

  • PPMN：像素短语匹配网络用于单阶段全景叙事 grounding

    该研究提出了一种端到端的 Pixel-Phrase 匹配网络（PPMN），通过密集标注的像素 - 短语对而非稀疏的区域 - 短语对进行训练，以直接匹配每个短语与其对应的像素，并将它们简单组合以输出全景分割，同时也开发了一种 Language-Compatible Pixel Aggregation（LCPA）模块来进一步提高短语特征的区分能力，该方法在 PNG 基准测试中实现了新的最高性能。

    Aug, 2022

  • TextPSG: 从文本描述生成全景场景图

    从纯文本描述中生成全景场景图，通过区域分组器、实体对齐器、段合并器和标签生成器构建无显式链接、无预定义概念集的场景理解框架，有效地提高了性能和鲁棒性。

    Oct, 2023

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 文本短语重建图像基础

    通过采用注意力机制来重构给定的短语，本论文提出了一种新的接近无监督学习的方法来学习 grounding，该方法不需要太多的地面实时监督，有效提高了在 Flickr 30k 实体数据集上的表现。

    Nov, 2015

  • 通过像素和物体背景来丰富短语以用于全景叙事引导

    通过设计 Phrase-Pixel-Object Transformer Decoder（PPO-TD）来丰富与像素和物体上下文相关的短语特征，并提出 Phrase-Object Contrastive Loss（POCL）从短语相关的物体标记中聚合更精确的物体上下文，这使得我们的方法在 Panoptic narrative grounding 基准测试中取得了新的最先进性能。

    Nov, 2023

  • 可解释的、全局最优的基于图像概念的文本 grounding 预测

    本文研究了文本 grounding 的问题，提出了一种统一的框架来有效地搜索所有可能的 bounding box 提议，通过训练的模型参数作为 word-embedding，实现了空间 - 图像关系的捕捉和解释性，实验表明本方法在 Flickr 30k Entities 和 ReferItGame 数据集上的表现要好于当前最先进的方法。

    Mar, 2018

  • Panoptic nuScenes：LiDAR 全图分割和跟踪的大规模基准测试

    介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集，以便对动态城市环境的全景场景理解方法进行研究和评估，同时提出了各种分割和跟踪任务的强基线方法，并提出了面向实例的新型 PAT 指标，解决了现有指标的局限性。

    Sep, 2021

  • 全景感知：一项新的任务和细粒度数据集用于通用遥感图像解释

    通过提出全景感知任务和细粒度数据集（FineGrip），该研究论文旨在实现对遥感图像的更全面、更普遍的解释。同时，该研究还提出了一种联合优化的全景感知模型，证明了多任务联合优化对各个任务的有益效果，并将数据集公开提供。

    Apr, 2024