Dec, 2023

透明物体的部件感知全景分割用于机器人操作的高效算法

PDF
TL;DR自主机器人在医院的辅助任务中的应用有可能解放合格员工，提高病人护理质量。然而，在医院环境中存在大量变形和透明物体，这对基于视觉感知系统带来重大挑战。我们提出了 EfficientPPS，一种用于部分感知全景分割的神经结构，可为机器人提供语义丰富的视觉信息以进行抓取和操纵任务。我们还提出了一种无监督数据收集和标记方法，以减少人工参与训练过程的需求。EfficientPPS 在包含真实医院物品的数据集上进行评估，并在与协作机械臂抓取透明输液袋方面表现出了强大和高效。
autonomous robotshospitalsvision-based perception systemsefficientppsgrasping transparent objects
发现论文，激发创造
  • 高效 PS: 高效全景分割

    本文介绍一种基于 EfficientPS 架构的自动机器人场景理解新方法，能够有效地实现交通参与者和场景语义实例识别，并提出了包含 KITTI panoptic segmentation 数据集的新领域，其通过在多个基准测试中进行广泛的评估证明具有领先的性能和最高效的速度。

    Apr, 2020

  • 通过联合物体 - 部分表示实现任务对齐的部分感知全景分割

    通过使用一组共享的查询，我们提出了任务对齐的部分感知全景分割 (TAPPS) 方法，用于共同预测对象级别的分割以及这些对象内的部分级别分割，从而将学习目标与任务目标对齐，在全景分割任务中取得了新的最先进结果。

    Jun, 2024

  • 部件感知全景分割

    本研究提出了 Part-aware Panoptic Segmentation（PPS）这个新的场景理解任务，旨在多层次把场景理解和部件理解统一起来，并提出了一种新的评估指标，即 Part-aware Panoptic Quality（PartPQ），通过在两个常用数据集上进行一致的注释，比较了现有的几种方法在该任务上的表现，实验结果证实了任务的有效性及多层次抽象的重要性。

    Jun, 2021

  • EfficientLPS: 高效的激光雷达全景分割

    本文提出了一种名为 EfficientLPS 的创新型自顶向下的 LiDAR 全景分割框架来解决 LiDAR 点云分割中的多个挑战，包括距离依赖的稀疏性、严重遮挡、大规模变化和重投影误差，并在两个大型 LiDAR 数据集上实现了状态 - of-the-art 的效果。

    Feb, 2021

  • JPPF: 多任务融合一致的全景部分分割

    我们提出了一种联合全景部分融合（JPPF）方法，它通过有效地结合三种单独的分割方法来获得全景 - 部分分割，该方法具有统一的模型，平衡的组合，可以在多个数据集上进行通用化评估。

    Nov, 2023

  • 非物体的全景分割

    提出一种名为 amodal panoptic segmentation 的任务，旨在同时预测 stuff 类可见区域的像素级别语义分割标签和 thing 类可见区域以及遮挡区域的实例分割标签。扩展两个基准数据集以便研究新任务，在公开可用的 KITTI-360-APS 和 BDD100K-APS 中提供像素级别的 amodal panoptic 分割标签。提出了 APSNet 模型，它显式地建模了遮挡物和被遮挡物的复杂关系。在两个基准测试上达到了最先进的性能。

    Feb, 2022

  • Panoptic-PartFormer: 学习一种统一模型用于全景部件分割

    本文旨在设计首个端到端的统一方法 Panoptic-PartFormer，通过模型事物、材料和部分作为对象查询直接学习统一的掩模预测和分类问题，设计解耦解码器分别生成部分特征和物体 / 材料特征，并提出同时和迭代地利用所有查询和相应特征进行推理。该模型在 Cityscapes PPS 和 Pascal Context PPS 数据集上实现了新的最先进结果，与 ResNet50 骨干和 Swin Transformer 相结合在 Pascal Context PPS 数据集上实现了 10％的改进，并取得了至少 70％GFlops 和 50％参数减少。

    Apr, 2022

  • 机器人监督学习目标分割

    本文提出了一种基于深度学习的机器人物体分割方法，通过解决两个子问题：机械臂与物体与背景的分割和物体与机械臂的分割，实现了无需人工标注数据即可训练网络的自我识别能力，实验证明该方法优于现有最优的自适应手持物体分割算法，并通过测试数据表明使用包含手持物体的自动标注图像的训练集可以提高物体在环境中的分割性能。

    Apr, 2019

  • 自动驾驶全景分割鲁棒性的基准测试

    准确的情景感知对于辅助和自动驾驶功能 (AAD) 的安全决策至关重要。全景分割是一种有前景的感知技术，可以在像素级别上识别和分类对象、潜在危险和可驾驶空间。本研究提出了一个统一的流程，评估全景分割模型在 AAD 中的鲁棒性，并将其与传统图像质量进行相关联。

    Feb, 2024

  • PanopticPartFormer++：全景部分分割的统一与解耦视图

    该研究提出了一种名为 Panoptic-PartFormer 的端到端统一框架，结合了全景与部件分割这两个任务，并在此基础上提出了一种新的衡量标准 Part-Whole Quality，同时引入了一种掩膜交叉注意力机制以进一步提高部分分割质量。

    Jan, 2023