BEV-DG: 基于鸟瞰图的跨模态学习用于 3D 语义分割领域泛化

ICCVAug, 2023

BEV-DG: 基于鸟瞰图的跨模态学习用于 3D 语义分割领域泛化

BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain Generalization of 3D Semantic Segmentation

Miaoyu Li, Yachao Zhang, Xu MA, Yanyun Qu, Yun Fu

TL;DR跨模态无监督领域自适应旨在利用二维 - 三维数据的互补性来克服新领域中缺乏注解的问题。本研究提出了基于鸟瞰图的跨模态学习方法，用于三维语义分割的领域泛化。通过鸟瞰图下的交叉模态学习，优化了与领域无关的表示建模，同时提出了鸟瞰图驱动的领域对比学习方法来建模领域无关的表示。在三个三维数据集上，BEV-DG 在所有设置中明显优于现有方法，差距显著。

Abstract

cross-modal unsupervised domain adaptation (UDA) aims to exploit the complementarity of 2D-3D data to overcome the lack of annotation in a new domain. However, UDA methods rely on access to the target domain during training, meaning the trained model only works in a specific target dom

cross-modal unsupervised domain adaptation bird's-eye view domain generalization 3d semantic segmentation cross-modal learning

发现论文，激发创造

面向鸟瞰视角的多视角三维物体检测领域泛化

本论文提出了一种名为 DG-BEV 的方法，通过将同态转换的测度深度预测转换为尺度不变深度来获得强健的深度预测，并使用单应性进行动态透视增强以增加外参参数的多样性，并通过多个伪域值修改对抗性训练损失来构建特征表示，从而显著减轻了目标领域的性能下降。

Mar, 2023

DA-BEV：无监督领域自适应鸟瞰视觉感知

DA-BEV 是第一个通过利用图像视图特征和 BEV 特征之间的互补性来解决域自适应 BEV 挑战的域自适应基于相机的 BEV 框架，引入了查询的概念，通过查询来从图像视图和 BEV 特征中推导有用的信息，通过查询引导对方的自适应，经过大量的实验，DA-BEV 在多个数据集和任务（如 3D 目标检测和 3D 场景分割）中持续实现了卓越的域自适应 BEV 感知性能。

Jan, 2024

DualCross: 单目 BEV 感知的跨模态跨域适应

本文提出了一个名为 DualCross 的跨模态跨领域自适应框架，以便从 LiDAR 数据中转移点云知识，使得单目鸟瞰感知模型更具鲁棒性，进而在不同的领域和传感器输入情况下进行测试，从而解决单一主题的一些瓶颈问题，取得了与各种基线的最新成果相比的最新成果。

May, 2023

CMDA：基于 LiDAR 的三维物体检测的跨模态和领域对抗适应

通过引入一种名为 CMDA 的新型无监督领域适应方法，利用图像模态（即相机图像）中的视觉语义线索作为一种有效的语义桥梁来缩小跨模态鸟瞰图表示的领域差距，并采用对抗性自我训练策略，使模型生成具有领域不变性的特征，从而为新的数据分布提供高度信息化和领域自适应的 3D 目标检测模型。在包括 nuScenes、Waymo 和 KITTI 在内的大规模基准测试中，以上所述方法为无监督领域适应任务带来了显著的性能提升，并达到了最先进的性能水平。

Mar, 2024

使用几何和语义点云进行鸟瞰图语义分割

本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

Jun, 2020

EAGLE: 跨视角理解中高效自适应基于几何的学习

通过引入新的无监督跨视图适应学习方法，我们解决了语义场景理解中不同摄像头视角的几何结构变化建模问题，并在不同跨视图适应基准上证明了我们方法在跨视图建模方面的有效性，与之前的无监督领域适应和开放词汇语义分割方法相比，实现了最先进的性能。

Jun, 2024

通过学习跨领域桥梁实现无监督领域泛化

本文提出了一种新的无监督领域泛化方法，通过利用自监督学习的 Bridge Across Domains 辅助桥接，从多个训练领域学习语义保留的图像到图像映射，使得各个领域能够在语义上对齐，包括在多领域数据集上无监督泛化到看不见的领域和类别等多个任务方面都取得了显著进展。

Dec, 2021

基于数据中心化方法的无监督领域泛化：来自网络规模多模态数据的检索

该研究论文探讨了领域泛化和无监督领域泛化问题，提出了一种在多模态场景下构建数据集的新方法，并在不同的基准测试上与其他方法进行了比较，取得了较高的准确性。

Feb, 2024

C-BEV：用于跨视角图像检索和 3DoF 姿态估计的对比鸟瞰视角训练

使用鸟瞰图作为嵌入表示的新型可训练的检索体系结构，在交叉视图地理定位任务中表现出色，特别在挑战性的多对一情景中有效，并且能够推断匹配航空图像上的 3 自由度摄像机姿态，甚至比明确通过度量真值进行培训的最新方法具有更低的平均姿态误差。

Dec, 2023

视角鸟瞰语义分割的半监督学习

本文提出了一种新颖的半监督框架，用于通过利用未标记的图像在训练过程中提高视觉鸟瞰（BEV）语义分割的性能，包括使用一致性损失约束模型在语义预测和 BEV 特征上，以及一种名为联合旋转的新颖且有效的数据增强方法，在保持前视图像与 BEV 语义分割之间的几何关系的同时扩充数据集。对 nuScenes 和 Argoverse 数据集进行的大量实验证明了我们的半监督框架可以有效提高预测准确性。据我们所知，这是第一项利用未标记数据改进视觉 BEV 语义分割性能的工作，代码将公开提供。

Aug, 2023