该论文提出了一种新型的端对端网络,能够高效地预测实例和物体分割,并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在COCO Panoptic基准测试上取得了可喜的成果。
Mar, 2019
我们提出了一种端到端的网络,用于连接全景分割的训练和推理管道,通过使用密集实例亲和力来捕获像素对属于相同实例的概率,并与ResNet-50骨干网络配合使用,实现了对Cityscapes和COCO数据集的新记录。
Jan, 2020
通过场景分解,从背景和前景分别预测背景的运动和物体的运动,我们提出了全景分割预测,可以在已有模型的基础上实现背景与物体的双重预测,比现有的基线模型性能更好。
Apr, 2021
介绍了扩展了 nuScenes 数据集的大规模全景 nuScenes 基准数据集,以便对动态城市环境的全景场景理解方法进行研究和评估,同时提出了各种分割和跟踪任务的强基线方法,并提出了面向实例的新型 PAT 指标,解决了现有指标的局限性。
Sep, 2021
本文旨在设计首个端到端的统一方法Panoptic-PartFormer,通过模型事物、材料和部分作为对象查询直接学习统一的掩模预测和分类问题,设计解耦解码器分别生成部分特征和物体/材料特征,并提出同时和迭代地利用所有查询和相应特征进行推理。该模型在Cityscapes PPS和Pascal Context PPS数据集上实现了新的最先进结果,与ResNet50骨干和Swin Transformer相结合在Pascal Context PPS数据集上实现了10%的改进,并取得了至少70%GFlops和50%参数减少。
Apr, 2022
本文提出了一种深度感知全景分割(DPS)的统一框架,该框架通过应用动态卷积技术来解决全景分割和深度预测任务之间的互补关系,从而实现对单张图像进行实例级语义重建,通过实例级深度估计方案,为辅助监督深度学习而添加额外的实例级深度提示,实验结果表明该方法具有实用性和前景。
Jun, 2022
该研究提出了一种名为 Panoptic-PartFormer 的端到端统一框架,结合了全景与部件分割这两个任务,并在此基础上提出了一种新的衡量标准 Part-Whole Quality,同时引入了一种掩膜交叉注意力机制以进一步提高部分分割质量。
Jan, 2023
基于RGB图像和深度图像的全景分割的新方法; 通过使用所观察场景的3D几何信息,减少错误合并为一个事物实例的对象数量,提高全景质量。
Mar, 2024
通过使用一组共享的查询,我们提出了任务对齐的部分感知全景分割(TAPPS)方法,用于共同预测对象级别的分割以及这些对象内的部分级别分割,从而将学习目标与任务目标对齐,在全景分割任务中取得了新的最先进结果。
Jun, 2024
本研究解决了机器人在导航和规划安全行为时,语义和3D结构预测的不足,尤其是几何信息的缺失。我们提出了一种全景深度预测任务,以从单目相机图像中联合预测未来未观察帧的全景分割和深度图,并开发了新的评估指标来量化预测质量。研究表明,我们的PDcast架构在两个数据集和三个预测任务中的表现卓越,具有重要的应用潜力。
Sep, 2024