Mar, 2024

更好地呼唤 SAL：迈向 Lidar 中的任意物体分割学习

PDF
TL;DR我们提出了一个名为 SAL（Segment Anything in Lidar）的方法，包括一个可文本提示的零样本模型用于在 Lidar 中分割和分类任何物体，以及一个无需手动监督的伪标签引擎用于模型训练。通过利用 2D 视觉基础模型生成免费的 3D 监督，我们的模型在无需手动标签的情况下在类别无关分割上达到 91％和零样本 LPS 上达到 44％，超越了不使用蒸馏而仅将图像特征提升到 3D 的基线模型，并且支持任意类别提示，并且可以轻松地扩展到新数据集，并显示出随着自标记数据的增加而提高的潜力。
发现论文，激发创造
  • 基于激光雷达的全景分割与追踪

    本文提出了一个简单而有效的基于检测的网络，用于激光雷达全景分割和追踪任务，通过使用点级别注释训练目标实例检测分支，以及使用轨迹级别监督回归模态中心和物体范围来获取细粒度实例段，该方法在多个 3D/4D LPS 基准测试中表现出色，超过最新的基于查询的模型，建立了新的开源模型的最新技术水平。

    Oct, 2023

  • 激光雷达引导半监督主动学习的单目三维物体检测

    本文提出了一种新颖的半监督主动学习 (SSAL) 框架，用于配备了激光雷达的单目 3D 物体检测，利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练，不在推理阶段引入任何开销，并采用半监督学习中的激光雷达教师，单目学生交叉模态框架，用于从未标记数据中蒸馏信息作为伪标签，以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案，同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验，验证了所提出方法的有效性。具体来说，所提出的选择策略在成本节省方面始终优于现有主动学习基线，在标签成本上节约了高达 17% 的成本；训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩，将 BEV 平均精度提高了 2.02。

    Jul, 2023

  • 基于图像到点云显著性转换的注意力引导的激光雷达分割和里程计

    提出一种基于显著性引导的方法，通过利用注意力信息来改善激光雷达里程计估计和语义分割模型的性能，并通过从彩色图像到点云的显著性知识转移，构建了伪显著性数据集，提出了一种显著性引导的三维语义分割模型和基于自我监督的显著性引导激光雷达里程计网络，并在基准数据集上进行了广泛的实验，取得了最先进的性能。

    Aug, 2023

  • SAI3D：在 3D 场景中分割任意实例

    SAI3D 是一种新颖的零样本三维实例分割方法，通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索，将三维场景划分为几何原语，然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法，进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明，我们的方法优于现有的开放词汇基准线，并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。

    Dec, 2023

  • SaLIP 与 SAM、CLIP 级联用于零样本医学图像分割的测试时间自适应

    该研究论文提出了一种将 Segment Anything Model（SAM）和 CLIP 集成为医学图像分割的统一框架 SaLIP 的方法，展示了在零样本分割中显著提高的 DICE 得分，在脑部（63.46%）、肺部（50.11%）和胎头（30.82%）等不同分割任务中表现出显著改进。

    Apr, 2024

  • 自适应低秩适应性分区对显著目标检测的改进

    基于深度学习中内在的低秩结构，我们提出了一种创新的方法，通过自适应微调 Segment Anything Model (SAM) 来实现显著目标检测，通过在五个具有挑战性的 RGB 基准数据集上进行全面的定性和定量评估，证明了我们方法的卓越性能，超越了最先进的方法。

    Aug, 2023

  • 自监督激光雷达分割用于自主室内导航学习

    本研究提出了一种自监督学习方法用于激光雷达帧的语义分割，通过结合 SLAM 和光线追踪算法实现自动化注释，训练预测机器人移动场景中的固定结构和可动目标的深度学习模型，同时改进机器人的导航和本地化性能，为机器人导航和目标定位提供了新的途径。

    Dec, 2020

  • 零训练 LiDAR - 相机外参校准方法：利用 Segment Anything 的 Calib-Anything

    使用基础模型和 Segment Anything Model (SAM) 技术，我们提出一种零额外训练的新型 LiDAR - 相机标定方法，通过最大化每种图像蒙版内投影的点的一致性优化外参参数，并在不同数据集上进行实验，证明了我们方法的普适性和可比性。

    Jun, 2023

  • AutoInst: LiDAR 3D 扫描的自动实例分割

    通过无监督学习的方法，使用 LiDAR 传感器，构建了一个算法来预测 3D 场景中的实例分割，其中通过权重代理图生成 3D 实例掩模建议，并使用自我训练算法对初始嘈杂的提议进行强化，以生成场景级实例分割。在 SemanticKITTI 基准测试中，该方法相较于最佳基准模型获得了 13.3% 的平均准确率和 9.1% 的 F1 分数提升。

    Mar, 2024

  • PosSAM: 全景开放词汇片段检测

    提出了一种开放词汇的全景分割模型，通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块（LDP），克服了 SAM 的局限性，并引入了面向掩膜的选择集成算法（MASE）来自适应地提高生成掩膜的质量，从而在多个数据集上展示了很强的泛化性能，并且在开放词汇全景分割方法方面取得了显著的改进。

    Mar, 2024