用于评估和提高对恶劣天气的鲁棒性的雨天渲染
提出了基于物理原理的雨渲染技术,通过物理粒子模拟器和精确的雨光度建模实现向晴朗天气图像中添加任意数量逼真雨或雾的效果。通过用户研究验证了渲染效果比已有技术更加逼真。利用渲染后生成的天气增强数据进行了深度物体检测和语义分割算法的全面评估,并表明它们的性能在恶劣天气下会有所降低,通过使用增强数据可以提高算法的稳健性。在 nuScenes 数据集上进行了实验,结果显示,与原始的降雨性能相比,物体检测的性能提高了 15%,语义分割的性能提高了 35%。
Aug, 2019
我们提出了一种基于模拟器的物理建模方法,用于增强在雨天中的 LiDAR 数据,以提高其在此场景下的感知性能。实验证明,通过合成数据增强的模型可以提高在 Waymo 开放数据集的雨天序列中的目标检测任务性能。
Dec, 2023
本文提出了一个新的数据集,用于评估基于计算机视觉技术中的人工去雨算法的效果,并提出了新的评估协议来评估这些算法在道路监控视频的不同天气条件下对分割、实例分割和特征跟踪算法的提高效果,研究结果表明,近期的单帧基于的雨去除算法可以在提高分割的准确性方面提高 19.7%,但会对特征跟踪造成负面影响,而最好的基于视频的雨去除算法可以提高 7.72% 的特征跟踪准确度。
Oct, 2018
本文提出了一种新颖的雨水模拟方法 DRET,将动力学与雨天环境理论相结合,以提供一种经济高效的方法来扩展用于 3D 检测训练的现实雨水数据。此外,本文还提出了一种从晴天到雨天的知识蒸馏方法(SRKD),以增强在雨天条件下的 3D 检测能力。大规模数据集 WaymoOpenDataset 上的广泛实验表明,将我们提出的框架与最先进的 DSVT 模型和其他经典 3D 检测器相结合,可以显著改善检测准确性,同时不会损失效率。值得注意的是,我们的框架还能提高在晴天条件下的检测能力,因此无论天气是雨天还是晴天,都提供了一种强大的 3D 检测解决方案。
Feb, 2024
通过物理学模拟,提出一种蒙特卡罗混合方法用于模拟恶劣天气下的 LiDAR 点云数据,从而扩展所有天气条件下目标检测器的可靠性,并表明相对于现有模型,在现实世界的雨天场景中,模型的性能有了显著改进。
Jul, 2021
本文探讨了自动驾驶中如何应对由光学传感器收集的噪声数据对自主决策产生的影响,并提出了一种用生成对抗网络产生虚拟雨天图像并训练降雨去噪模型的方法,但该方法还需进一步改进。
May, 2023
通过使用监视摄像头,设计了一个系统来检测降雨。使用 3D 卷积的现代 CNN 方法与先前的最新方法进行比较,结果表明,选择感兴趣区域对性能有很大的影响,并且该提议的 3D CNN 在所有指标上都表现出比以前的最新方法更好的表现。
Aug, 2019
本研究提出了一种改进在有附着雨滴和条纹影响的图像分割任务的方法,通过引入新颖的立体数据集并以此进行噪声降低生成器的训练,最终有效去除真实的水滴所产生的影响,并在道路标记分割和语义分割等任务中展现出显著的提高。
Jan, 2019
本文提出了一种方法,使用计算机图形和生成模型相结合,通过扩充现有的晴天数据以模拟恶劣天气状况,将增广用于无监督深度估计,进而引入伪监督损失来解决降低性能的问题。
Jul, 2023