Mar, 2024

MARVIS：动作与几何感知的真实和虚拟图像分割

PDF
TL;DR本研究提出了一种利用合成图像和领域不变信息、运动熵核和极线几何一致性进行真实和虚拟图像区分的新方法。通过创建模拟复杂水面的逼真合成图像，为网络（MARVIS）提供精细训练数据，有效地区分真实和虚拟图像。通过运动和几何感知的设计选择以及全面的实验分析，我们在未见的真实世界领域中实现了最先进的真实虚拟图像分割性能，达到 78％的 IoU 和 86％的 F1-Score，同时保证计算量小。
marine roboticswater surfacessegmentationreal-virtual imagesynthetic images
发现论文，激发创造
  • 虚拟到现实：在视觉语义分割中学习控制

    为解决机器人虚拟世界到真实世界的迁移问题，本文提出了一种基于模块化架构、采用语义图像分割作为元表示的深度强化学习方法，实现了 RGB 图像到语义图像段转换。实验结果表明，该架构在避障和目标跟踪任务中表现优异，并在虚拟和真实环境中均明显优于基准方法。

    Feb, 2018

  • 增强现实与计算机视觉：城市驾驶场景的高效数据生成

    本研究探讨了结合实际图片和虚拟对象的增量学习方法，通过少量用户交互的方式，将虚拟对象添加到实际图片中，从而提高物体实例分割模型的性能。通过在 KITTI 2015 和 Cityscapes 数据集上的实验结果表明，增量学习方法可以显著提高实例分割和物体检测模型的泛化能力。

    Aug, 2017

  • 对象重建的虚拟视图网络

    通过识别物体及从同类物体的图片中获取帮助等手段来合成虚拟视图，从而从具有挑战性的情景中重建物体的技术使刚性结构运动算法的应用领域得到极大扩展。

    Nov, 2014

  • 虚拟世界作为多对象跟踪分析的代理

    本研究运用计算机图形学的进展生成虚拟世界，实现了完全标记、动态、逼真的代理虚拟世界，并通过虚拟 KITTI 数据集提出了有效的现实世界克隆方法，通过该方法，可以提高深度学习算法预训练的性能。本研究进一步证明了虚拟世界可以测量各种天气和成像条件对识别性能的影响。

    May, 2016

  • 加强模拟环境下基于行的作物导航基准测试与感知数据生成

    本文介绍了通过使用合成数据集和虚拟场景来加速自主导航系统的开发的方法及其在农业领域的应用。

    Jun, 2023

  • 自动驾驶的 WoodScape 运动分割 --CVPR 2023 OmniCV 研讨会挑战

    本研究通过分析自动驾驶中的运动分割挑战和基于鱼眼镜头的数据集，探索和评估合成数据在此领域的潜力和影响，并提供有关基线实验和获胜方法的详细分析及结果。

    Dec, 2023

  • 机器人环境下看不见物体实例分割

    为了使机器人能够在非结构化环境中起作用，该研究提出了一种名为 UOIS-Net 的新颖方法，该方法利用合成 RGB 和深度数据分别用于识别表面上未见过的物体，并且可以训练机器人对它们进行抓取。通过提供大量的实验结果，本研究证明了该方法优于同类方法。

    Jul, 2020

  • 双模态融合：分别利用 RGB 和深度进行未见目标实例分割

    本篇论文提出了一种使用合成 RGB 和深度图像数据实现表面外目标实例分割的新方法，该方法能够学习非真实感 RGB-D 数据，并在机器人抓取任务中表现出色。

    Jul, 2019

  • 端到端自动驾驶的实际与虚拟域统一

    通过利用虚拟数据来处理自动驾驶的数据合并问题，并通过 DU-drive 实现了端到端自动驾驶的无监督域融合框架，达到了更好的性能表现和解释能力。

    Jan, 2018

  • 基于增强现实的模拟数据（ARSim）与多视角一致性的自动驾驶感知网络

    为了增强自动驾驶系统的有效性，本文提出了 ARSim，一个全自动、综合和模块化框架，用于通过将 3D 合成对象与真实多视图图像数据相结合，来提高真实世界场景的多样性和覆盖范围。实验结果表明，在各种自动驾驶感知任务上，使用增强数据集训练的网络性能更优。

    Mar, 2024