Apr, 2024

TempBEV: 结合图像与 BEV 空间的时间聚合以改进学习的 BEV 编码器

TL;DR通过融合多个传感器数据,通过学习的鸟瞰图编码器将不同视角的相机数据映射到一个联合的潜在空间中,通过在时域中聚合传感器信息,特别是单眼相机系统中缺乏明确的深度和速度测量时,能够进一步提高准确性。在文献中分析了鸟瞰图编码器并比较了它们的有效性,量化了聚合操作和潜在表示的影响。因此,我们开发了一种新颖的时域鸟瞰图编码器 TempBEV,它整合了来自两个潜在空间的聚合时域信息,并通过光流估计方法进行时域立体编码。在 NuScenes 数据集上的实证评估表明,TempBEV 在三维物体检测和鸟瞰图分割方面相比基线有显著改进。消融分析揭示了图像和鸟瞰图潜在空间中联合时域聚合的强大协同效应。这些结果表明了我们方法的整体有效性,并强烈支持在图像和鸟瞰图潜在空间中聚合时域信息。