Oct, 2023

NICE: 提升全景叙事检测和分割的级联协作学习

PDF
TL;DR提出了一种统一且有效的框架 NICE，可以共同学习 Panoptic Narrative Detection 和 Segmentation 任务。通过引入基于掩模质心的两个级联模块，即 Coordinate Guided Aggregation (CGA) 和 Barycenter Driven Localization (BDL)，分别负责分割和检测，将这两个任务自然地对齐并相互补充，从而提高性能。实验结果表明，NICE 方法在 PND 和 PNS 方面都显著优于现有方法，分别达到 4.1% 和 2.9% 的提升率。
panoptic narrative detectionsegmentationnicecoordinate guided aggregationbarycenter driven localization
发现论文，激发创造
  • 基于端到端网络的实时全景叙事性 grounding

    本研究提出了一种用于实时 PNG 的单阶段网络，名为端到端全景叙事接地网（EPNG），通过将两个创新设计：局部感知关注（LPA）和双向语义对齐损失（SAL），用于处理文本表达式和视觉对象之间复杂的多对多关系，从而直接生成指示物的掩模，以及提高分段结果和语义一致性的泛化能力。

    Jan, 2023

  • 半监督全景叙事基准化

    本文介绍了一种新颖的半监督全景叙事 grounding 方案，利用少量带标签的图文对和大量无标签对来实现竞争性性能，并通过质量基配损失调整方法提高半监督网络以克服标注有限的挑战。

    Oct, 2023

  • PPMN：像素短语匹配网络用于单阶段全景叙事 grounding

    该研究提出了一种端到端的 Pixel-Phrase 匹配网络（PPMN），通过密集标注的像素 - 短语对而非稀疏的区域 - 短语对进行训练，以直接匹配每个短语与其对应的像素，并将它们简单组合以输出全景分割，同时也开发了一种 Language-Compatible Pixel Aggregation（LCPA）模块来进一步提高短语特征的区分能力，该方法在 PNG 基准测试中实现了新的最高性能。

    Aug, 2022

  • 全景叙事基础

    本文提出了一种名为全景叙事基础的新型任务，包括新的实验框架、地面真值和指标，并提出了一个强大的基线方法。文章提出了一种算法，将分布式叙事注释传输到 MS COCO 数据集的普透明分割的特定区域。通过使用分割，文中还以精细的层次接近视觉基础问题，并通过包括全景类别来实现图像的内在语义丰富度。

    Sep, 2021

  • BANet：双向聚合网络在遮挡处理方面的全景分割

    本文提出了一种基于双向学习流程和插拔式遮挡处理算法的深度全景分割方案，用于同时执行前景实例的实例分割和背景物品的语义分割，并能有效地处理不同物体实例之间的遮挡问题。在 COCO 全景基准测试中，实验结果验证了我们所提出的方法的有效性。

    Mar, 2020

  • 通过像素和物体背景来丰富短语以用于全景叙事引导

    通过设计 Phrase-Pixel-Object Transformer Decoder（PPO-TD）来丰富与像素和物体上下文相关的短语特征，并提出 Phrase-Object Contrastive Loss（POCL）从短语相关的物体标记中聚合更精确的物体上下文，这使得我们的方法在 Panoptic narrative grounding 基准测试中取得了新的最先进性能。

    Nov, 2023

  • 全景意图网络：面向视障人士的高效导航感知

    通过提出一种基于 Panoptic Lintention Net 的紧凑可穿戴全景分割系统，协助视障人士高效地获得环境中物品和场景的感知，使用 Lintention 注意模块快速建模长程关联，实现对现实场景的全景分割，获得了较稳定和显著的分割效果。

    Mar, 2021

  • 基于注意力引导的全统一网络实现全景分割

    该论文研究了全景分割这一最近提出的任务，并提出了一种名为注意力引导统一网络（AUNet）的方法，其同时进行前景和背景的分割，在 MS-COCO 和 Cityscapes 基准测试中均取得了最新的最优成果。

    Dec, 2018

  • 全景分割的训练和推理统一化

    我们提出了一种端到端的网络，用于连接全景分割的训练和推理管道，通过使用密集实例亲和力来捕获像素对属于相同实例的概率，并与 ResNet-50 骨干网络配合使用，实现了对 Cityscapes 和 COCO 数据集的新记录。

    Jan, 2020

  • Panoptic-PHNet: 通过聚类伪热度图实现实时高精度 LiDAR 全景分割

    本文提出了一种快速高效的基于 LiDAR 的 Panoptic-PHNet 框架，其引入簇伪热图作为新的范例，提出了 knn-transformer 模块来精确回归前景点之间的相互作用，并将细粒度体素特征与不同感受野的 2D 俯瞰视图（BEV）特征融合，通过在 SemanticKITTI 数据集和 nuScenes 数据集上的大量实验证明 Panoptic-PHNet 超过了最先进方法，在真实时间内实现了极高的性能。

    May, 2022