Oct, 2023

STARS：用于声纳图像中船只残骸分割的零样本 SIM 到真实场景转换

PDF
TL;DR该研究论文针对物体分割的 sim-to-real 转移问题，在没有真实训练样本的情况下解决了零样本 sim-to-real 转移的挑战，通过预测的变形场和异常体积融合，提高了在真实声纳图像上的泛化能力，实现了更有效的零样本 sim-to-real 图像分割转移。通过在专家标记的自主水下车辆（AUV）的现场调查中收集的真实侧扫声纳船只数据集上评估了该方法的 sim-to-real 转移能力。STARS 完全在模拟环境中训练，并且在真实数据上没有额外的微调，相较于最佳基线，该方法在目标船只类型的分割性能上提供了显著的 20% 的增加。
发现论文，激发创造
  • SATR：3D 形状零样本语义分割

    通过使用大规模现成的 2D 图像识别模型，探索零样本语义分割 3D 形状的任务。我们的研究表明，现代的零样本 2D 目标检测器比当代的文本 / 图像相似性预测器或甚至零样本 2D 分割网络更适合此任务。我们的核心发现是，使用底层表面的拓扑属性可以从多视角边界框预测中提取精确的 3D 分割图。为此，我们开发了具有拓扑重加权分割任务（SATR）算法，并在 FAUST 和 ShapeNetPart 这两个具有挑战性的基准测试上评估它。在这些数据集上，SATR 实现了最新的性能，并在平均 mIoU 方面至少优于之前的工作 22％。

    Apr, 2023

  • MARVIS：动作与几何感知的真实和虚拟图像分割

    本研究提出了一种利用合成图像和领域不变信息、运动熵核和极线几何一致性进行真实和虚拟图像区分的新方法。通过创建模拟复杂水面的逼真合成图像，为网络（MARVIS）提供精细训练数据，有效地区分真实和虚拟图像。通过运动和几何感知的设计选择以及全面的实验分析，我们在未见的真实世界领域中实现了最先进的真实虚拟图像分割性能，达到 78％的 IoU 和 86％的 F1-Score，同时保证计算量小。

    Mar, 2024

  • 基于 3D 合成数据增强的海上救援热红外遥感目标检测系统

    本文提出了一个利用深度学习和数据增强的热红外（TIR）远程目标检测系统，该系统针对海上救援进行研究。通过使用 TIR 相机（FLIR）建立了一个自采集的 TIR 数据集，其中包括多个模拟人类救援情境的场景。此外，为了解决数据集稀缺和改善模型的鲁棒性，还收集了一个合成数据集，该数据集是从一个 3D 游戏（ARMA3）中获取的。然而，合成 TIR 图像与真实 TIR 图像之间存在显著的领域差距。因此，为了解决这个问题，本文建议了一种基于生成模型的从 3D 游戏到真实情况下的目标 - 背景分离领域自适应算法。此外，还提出了一个带有固定权重内核的分割网络，以改善信噪比（SNR）并提供弱注意力，因为远程 TIR 目标本质上具有不清晰的边界。实验结果表明，用包含翻译合成和真实 TIR 数据的增强数据训练的网络在性能上明显优于只使用真实 TIR 数据进行训练的网络。此外，所提出的分割模型超越了最先进的分割方法的性能。

    Oct, 2023

  • SimuShips -- 一份高分辨率的模拟船只检测数据集，具备精确标注

    本文介绍了一种名为 SimuShips 的用于海上环境的基于模拟的数据集，其中包含各种类型的障碍物，经过了多种气象和照明条件的处理，并通过边界框的形式提供了注释。同时，我们使用 YOLOv5 进行实验，并发现将真实图像与模拟图像相结合可以提高所有类别的召回率。

    Sep, 2022

  • 一种重点关注边界的水下图像语义分割方法及真实水下场景语义分割数据集

    为了提高水下抓取效率，我们标记并建立了第一个真实场景的水下语义分割数据集 (DUT-USEG:DUT Underwater Segmentation Dataset)，并基于此数据集提出了一个重点关注边界的半监督水下语义分割网络 (US-Net: Underwater Segmentation Network)，通过设计伪标签生成器和检测子网，实现了水下物体与背景之间边界的精细学习，并改善了边缘区域的分割效果，实验表明该方法在 DUT-USEG 数据集中的三类动物物种 (海葵，海胆和海星) 上提高了 6.7％的性能，达到了最先进的结果。

    Aug, 2021

  • 船只映入眼帘：船图像超分辨率的扩散模型

    我们的研究聚焦于船舶图像的超分辨率问题，在基于扩散模型的架构中，利用文本条件的训练来生成超分辨率图像，同时探索了该模型在分类和目标检测等下游任务中的潜在应用。

    Mar, 2024

  • 水下图像的语义分割：数据集与基准测试

    本文介绍了第一个大规模的海底图像语义分割数据集 SUIM，包含八个对象类别的 1500 多张图像像素注释，并介绍一个性能和计算效率平衡的全卷积编码解码模型 SUIM-Net 以及其在海底机器人视觉引导方面的应用。

    Apr, 2020

  • 自主导航中的高效多分支分割网络用于情境感知

    实时和高精度情景感知技术对无人水面载具的自主导航至关重要，特别是鲁棒且快速的障碍物语义分割方法是必不可少的。本研究建立了一个海港环境中捕获无人水面载具和无人航空器的角度的数据集，并分析了数据特征。统计分析揭示了海洋和天空的分布与行坐标信息之间的高相关性。基于这一发现，我们提出了一种具有行位置编码模块（RPEM）的三分支语义分割网络，以提高区分海洋和天空的预测准确性。所提出的 RPEM 突出了行坐标对特征提取的影响。与基准线相比，带有 RPEM 的三分支网络在不显著降低计算速度的情况下，显著提高了区分海洋和天空的能力。

    Mar, 2024

  • ReSimAD：零售 3D 领域转移在自动驾驶中的应用：源重构和目标仿真

    通过提出重建 - 仿真 - 感知（ReSimAD）方案，本文解决自动驾驶中的领域转移问题，通过从先前的旧领域中获得知识并在多个新领域中进行仿真，从而提高领域泛化能力，甚至在 3D 预训练方面具有潜力。

    Sep, 2023

  • 利用深度学习和卫星图像自动检测黑暗船对船转移

    使用卷积神经网络准确检测各种船舶和船舶间转运，通过卫星图像和船载 GPS 数据交叉引用，应用该方法于乌克兰和俄罗斯之间的克尔奇海峡，识别 2022 年以来 400 多起黑暗中转运事件。

    Apr, 2024