ICCVSep, 2023

基于 SAM 的作物与杂草竞争层级全景分割解决方案

PDF
TL;DR农业中的全景分割是一种先进的计算机视觉技术，提供了对农田组成的全面理解，旨在应对农业中的各种任务，如作物和杂草分割、植物全景分割和叶子实例分割。本研究提出了一种方法，将实例分割模型（SAM）的有效性与目标检测模型（DINO 和 YOLO-v8）的输入相结合，以解决 PhenoBench 数据集上作物和杂草层次全景分割的挑战。在比赛的评估指标下，我们的最佳模型获得了 81.33 的 PQ + 得分。
发现论文，激发创造
  • Hierarchical Mask2Former: 农作物、杂草和叶片的全景分割

    机器视觉技术在农业等多个领域的精细分析有潜力进行转型。本文提出了一种层次式全景分割方法，用于同时识别植物生长的指标和图像中的杂草，并在此基础上探索了使该架构更紧凑适用于时间和计算受限应用的方法。通过更紧凑的架构，推理速度提升了 60％，PQ 得分降低不到 1％。

    Oct, 2023

  • Panoptic One-Click 分割：应用于农业数据

    本研究提出了一种精准农业方法，采用弱监督学习技术和点击输入，提出一种高效准确的离线工具 —— 全景一键分割法，它可以在降低标注数据成本的同时，有效地定位和分割所有的作物对象。在糖菜和玉米图像数据上的表现表明，我们的方法不仅与传统的一键分割法比拼，而且训练速度更快，使得我们能够将众多的边缘标记转化为面标记，从而有效地提高了模型的性能

    Mar, 2023

  • 能否识别作物？通过卫星图像生成精准农业的作物类型地图时，量化语义分割基础模型的零样本性能

    全球气候变化对农业产生越来越大的影响，因此为了解决粮食生产中日益增长的挑战，最前沿的管理策略，如精确农业，为农民和决策者提供丰富而实用的信息，以提高农业实践的效率和可持续性。本文研究了 Meta AI 公司的 Segment Anything Model (SAM) 在作物地图预测任务中的能力，并提出使用聚类一致性指标评估 SAM 在分割卫星图像和生成作物类型地图中的零样本性能。尽管在零样本设置下直接进行作物类型映射具有挑战性，但实验显示 SAM 在迅速准确地勾勒卫星图像中的农田方面具有潜力，为后续作物分类奠定了基础。本文试图突出说明像 SAM 这样的最新图像分割模型在作物类型映射和相关农业行业的特定需求方面的应用案例，为精密农业实践提供了实现自动化、高效和具有成本效益的数据产品的潜在途径。

    Nov, 2023

  • 自动驾驶全景分割鲁棒性的基准测试

    准确的情景感知对于辅助和自动驾驶功能 (AAD) 的安全决策至关重要。全景分割是一种有前景的感知技术，可以在像素级别上识别和分类对象、潜在危险和可驾驶空间。本研究提出了一个统一的流程，评估全景分割模型在 AAD 中的鲁棒性，并将其与传统图像质量进行相关联。

    Feb, 2024

  • 全景分割端到端网络

    该论文提出了一种新型的端对端网络，能够高效地预测实例和物体分割，并引入了一种新的空间排名模块以处理预测实例之间的遮挡问题。在 COCO Panoptic 基准测试上取得了可喜的成果。

    Mar, 2019

  • 深度感知全景分割

    基于 RGB 图像和深度图像的全景分割的新方法；通过使用所观察场景的 3D 几何信息，减少错误合并为一个事物实例的对象数量，提高全景质量。

    Mar, 2024

  • 全景分割

    本文提出并研究了一项称为全景分割的任务，该任务将语义分割和实例分割两个任务统一起来，提出了新型的评估指标，并进行了全面的研究。

    Jan, 2018

  • PhenoBench -- 农业领域语义图像解释的大型数据集和基准测试

    本文提出应用图像识别技术解决农业领域的感知问题。作者提供了使用无人机采集并进行密集标注的农作物和杂草图像数据集以及用于测试的多个感知任务基准，包括语义分割、植物的全景分割、植物和叶子的检测、层次全景分割。

    Jun, 2023

  • 自训练全景分割

    通过自学习方法在合成到真实的领域适应问题设置中，开发了一个基于嵌入的自学习全景分割框架。

    Nov, 2023

  • 大规模 LiDAR 点云中精确实例分割的研究

    研究通过聚类策略和点嵌入来改进全景分割的实例分割步骤，以解决同一个语义类别附近实例分割的挑战，实验证明该策略的有效性和多样性。

    Jul, 2023