RaSim: 用于真实世界应用的基于范围感知的高保真 RGB-D 数据模拟流水线

Apr, 2024

RaSim: 用于真实世界应用的基于范围感知的高保真 RGB-D 数据模拟流水线

RaSim: A Range-aware High-fidelity RGB-D Data Simulation Pipeline for Real-world Applications

Xingyu Liu, Chenyangguang Zhang, Gu Wang, Ruida Zhang, Xiangyang Ji

TL;DR机器人视觉中的一个主要问题是模拟环境中的学习如何应用到真实世界中，本文的研究关注于深度数据合成，并开发了一种考虑距离的 RGB-D 数据模拟管道（RaSim）。通过模拟真实世界传感器的成像原理来生成高保真度的深度数据，并引入了一个考虑距离的渲染策略来丰富数据多样性。大量实验证明，使用 RaSim 训练的模型可以直接应用于真实世界场景而无需微调，并在后续的 RGB-D 感知任务中表现出色。

Abstract

In robotic vision, a de-facto paradigm is to learn in simulated environments and then transfer to real-world applications, which poses an essential challenge in bridging the sim-to-real domain gap. While mainstre

robotic vision sim-to-real domain gap depth data synthesis rasim rgb-d perception tasks

发现论文，激发创造

RadSimReal: 用模拟数据弥合雷达目标检测中合成数据与真实数据之间的差距

应用神经网络在雷达图像中进行目标检测，在自动驾驶方面显示出巨大潜力。为了解决真实雷达图像数据集获取的困难，特别是在长距离检测和恶劣的天气和光照条件下，雷达性能表现优异的场景，我们提出了 RadSimReal - 一种创新的物理雷达模拟工具，能够生成各种雷达类型和环境条件下的合成雷达图像及其标注，无需收集真实数据。令人惊讶的是，我们的研究结果表明，在 RadSimReal 数据上训练目标检测模型，并随后在真实世界数据上进行评估，产生的性能水平与在相同数据集上训练和测试的模型相当，甚至在跨不同真实数据集进行测试时，性能更好。RadSimReal 相比其他物理雷达模拟工具具有优势，因为它不需要了解雷达设计细节，而雷达供应商通常不会公开这些细节，并且具有更快的运行时间。这个创新工具有潜力推进基于雷达的自动驾驶应用的计算机视觉算法的发展。

Apr, 2024

基于增强现实的模拟数据（ARSim）与多视角一致性的自动驾驶感知网络

为了增强自动驾驶系统的有效性，本文提出了 ARSim，一个全自动、综合和模块化框架，用于通过将 3D 合成对象与真实多视图图像数据相结合，来提高真实世界场景的多样性和覆盖范围。实验结果表明，在各种自动驾驶感知任务上，使用增强数据集训练的网络性能更优。

Mar, 2024

基于物理的可导深度传感器模拟

本论文提出了一种基于可微仿真管道和方块匹配算法的端到端可微深度图像生成模型，可以用于各种深度感知的任务，如分类、姿态估计和语义分割，可比之前使用的静态仿真和学习方法提高模型性能，赋予所生成图像更高的真实感。

Mar, 2021

从 RGBD 视频推断关节刚体动力学

本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

Mar, 2022

LiDARsim: 通过利用现实世界，实现逼真的激光雷达模拟

本文提出了一种名为 LiDARsim 的模拟器，利用真实数据生成 3D 场景，通过物理模拟和深度神经网络相结合来生成 LiDAR 点云，用于测试感知算法和评估安全场景。

Jun, 2020

快速准确的现实世界深度超分辨率：基准数据集和基准模型

本文提出了一种新的深度图像超分辨率方法，利用移动手机和 Lucid Helios 采集的配对 LR 和 HR 深度图构建了一个名为 RGB-D-D 的大规模数据集，并提供了一个快速深度图超分辨率（FDSR）基准线，与现有公共数据集上的基准方法相比，我们的网络在效果和效率上都有很大的提升，并且可以处理真实世界中的 LR 深度图以产生更准确，清晰的边界，并在一定程度上修正深度值错误。

Apr, 2021

基于域随机增强的深度模拟和恢复技术：用于感知和抓握高光透明物品

通过物理模拟和生成大规模的合成数据集，为高噪声物体的深度恢复提供了解决方案，并通过提出的 SwindDRNet 模型进行了实现。在使用所提供的真实世界数据集进行训练后，SwinDRNet 可以在实时速度下无缝地推广到其他真实深度数据集，并在深度还原方面胜过竞争对手的方法。

Aug, 2022

从 RGB-D 视频中学习基于粒子的 3D 模拟器

通过视觉粒子动力学以及端到端学习的方式，我们提出了一种从观测数据中直接学习模拟器的方法，避免了对特殊的信息的依赖，从而实现更加真实可信的仿真。这一方法的 3D 结构使得场景编辑和长期预测成为可能，为视频编辑和机器人规划等应用提供了新的路径。

Dec, 2023

GeoSim: 基于几何感知合成的自动驾驶真实视频模拟

本文提出了一种基于 GeoSim 的几何感知图像合成过程，通过从其他场景中提取的动态对象进行图像合成从而合成新的城市驾驶场景，该方法能够生成真实的、交通意识的、几何一致的合成图像，适用于复杂的场景规模，并演示了其在长程实际视频模拟和合成数据增强等领域的有用性。

Jan, 2021

基于全局到局部 RGB-D 适应的实境抓取检测

该论文通过领域适应问题将 RGB-D 抓握检测的问题转变为 sim-to-real 问题，并提出了一种全局到局部的方法来解决 RGB 和深度数据之间的差距以及多模态特征对齐的不足。在大量实验中，该方法显著减小了领域转移，并获得了令人满意的结果，证明了其有效性。

Mar, 2024