CVPRJun, 2020

自监督领域不匹配估计用于自主感知

PDF
TL;DR自动驾驶需要感知功能的自我意识，我们提出了一种基于自编码器的方法，使用预存的 PSNR 分布与在线获取的 PSNR 分布之间的 Earth Mover's Distance 作为领域不匹配度量，与语义分割有很强的相关性。
autonomous drivingself-awarenessperception modulessemantic segmentationautoencoder
发现论文，激发创造
  • 通过场景图增强视觉语言模型用于交通事故理解

    通过将交通场景表示为场景图，并将其与视觉和语言模态对齐进行事故分类，在交通事故识别中引入多阶段、多模态的流水线能够提高分类准确率。

    Jul, 2024

  • BEVWorld：基于统一 BEV 潜空间的自动驾驶多模态世界模型

    通过对多模态传感器输入进行统一而紧凑的鸟瞰视图（BEV）潜在空间编码，BEVWorld 提供了一种新的方法来预测潜在的未来场景，证明了其在自动驾驶任务中生成未来场景的有效性，并对感知和运动预测等下游任务提供了帮助。

    Jul, 2024

  • PerlDiff: 使用透视布局扩散模型实现可控街景合成

    我们探究了 PerlDiff（Perspective-Layout Diffusion Models）的整合控制信息的方法，它是一种有效的街景图像生成方法，充分利用了透视三维几何信息，通过网络学习过程中引导街景图像的精确对象级控制，从而提高生成的精度，并且与其他布局控制方法相比具有更强的可控性。

    Jul, 2024

  • 跨域少样本情境学习用于提升交通标志识别能力

    本研究基于多模态大型语言模型（MLLM）提出了一种跨域少样本上下文学习方法，用于增强交通标志识别（TSR）的性能，并通过生成相应描述文本来改善 MLLM 对交通标志的细粒度分类能力。实验结果表明，该方法显著提高了 TSR 的性能。

    Jul, 2024

  • 4D 对比超流是稠密的 3D 表示学习器

    在自动驾驶领域，准确的 3D 感知是其基础。为了解决依赖于昂贵且劳动密集的人工标注的问题，我们引入了 SuperFlow，这是一个新颖的框架，利用连续的 LiDAR 相机对建立时空预训练目标。SuperFlow 通过整合两个关键设计来脱颖而出：1）稠密到稀疏的一致性正则化，在特征学习过程中促进对点云密度变化的鲁棒性；2）基于流的对比学习模块，精心设计以从可用的传感器校准信息中提取有意义的时态线索。为了进一步提升学习效率，我们还增加了一个即插即拔的视图一致性模块，增强了从相机视角蒸馏出的知识的对齐。对 11 个不同的 LiDAR 数据集进行了广泛的比较和消融研究，验证了我们的有效性和优越性。此外，通过扩展 2D 和 3D 主干网络的预训练，我们观察到了一些有趣的新性质，为基于 LiDAR 的感知的未来研究提供了启示。

    Jul, 2024

  • 真实世界和合成车辆前向摄像头图像的语义分割

    本研究通过模型发展和领域适应的方法研究了使用真实世界和合成数据来处理语义分割问题的有效性，通过应用高分辨率网络（HRNet）、对象上下文表示（OCR）和分层多尺度注意力（HMA）等技术，以及基于领域的批量归一化（DNB）降低分布偏移，提出了一种在各种不同室外情况下表现良好的鲁棒模型， 在验证集上达到了 81.259 的平均交并比（mIoU）。

    Jul, 2024

  • 基于聚类距离预测的自我监督学习用于手术室环境感知

    我们提出了一种新的三维自我监督任务，利用 ToF 摄像机拍摄的手术室场景图像，用于手术室场景理解。我们的方法通过学习三维空间上下文生成判别性特征，在两个任务和数据集上取得了显著的性能改进，特别是在低程度数据上，自我监督学习的效用最高。

    Jul, 2024

  • SID：适用于自动驾驶在恶劣条件下的立体图像数据集

    该研究介绍了一个大规模的立体图像数据集 (SID)，用于自主驾驶系统中的鲁棒感知，尤其是在逆境天气和照明条件下，该数据集捕捉到了各种具有挑战性的真实环境场景，包括不同天气条件、时间和位置，以及镜头污染等困境，为高级感知算法的开发和测试提供了必不可少的高保真度立体图像。

    Jul, 2024

  • 事件驱动行人检测研究、应用与前景：综述

    基于事件的相机在行人检测领域中的应用研究及发展现状的详细回顾，包括基本原理、相对传统帧图像方法的优势与劣势、多种事件流输入和相应网络模型的应用性评估、数据集和数据获取技术以及处理事件流数据的高级算法。同时，对基于事件的行人检测的独特优势和持续挑战进行了综述，并对未来发展进行了前瞻性展望。

    Jul, 2024

  • 稳定的三维物体检测

    在自动驾驶领域中，本论文提出了稳定性指数（SI）作为评估三维物体检测器稳定性的新指标，并引入了预测一致性学习（PCL）作为一种训练策略来提高模型的稳定性。实验结果表明，PCL 方法使得基于 CenterPoint 的车辆类别三维物体检测的 SI 值达到 86.00，超过了基准值 5.48，希望本论文能成为三维物体检测领域中这一重要问题的可靠基准，并引起学术界的关注。

    Jul, 2024