通过无监督域自适应实现超出视野的密集全景语义分割
本文采用领域适应的角度,针对 360 度车载相机图像的全景语义分割问题,提出了使用基于注意力机制的跨域全景语义分割框架,并公开了一个密集标注且包含有标注和无标注的全景图像数据集 DensePASS。在两个标准分割网络中使用我们的框架,相对 Mean IoU 会在 6.05% 和 11.26% 之间获得排名的提高。
Aug, 2021
本文提出了一种用于针孔图像到全景图像语义分割的无源无监督域自适应(SFUDA)的新方法,该方法利用了割裂等距投影、固定视场角的损失和全景原型自适应模块(PPAM),以及跨双重注意模块(CDAM),通过提取并转移知识实现域间适应。实验证明,该方法在合成和真实世界基准测试中表现显著优于现有的 SFUDA 方法。
Mar, 2024
通过使用开放性全景分割任务,以及采用可变形适配器网络和随机全景等距投影数据增强方法,我们提出的 OOOPS 模型在三个全景数据集上均取得了令人瞩目的性能提升,特别是在野外环境 WildPASS 上达到了 + 2.2%,在室内环境 Stanford2D3D 上达到了 + 2.4%的平均交并比(mIoU)
Jul, 2024
本文研究了针对针孔到全景语义分割的无源无监督域自适应(SFUDA)问题,通过仅有预训练的针孔图像模型(即源模型)和未标记的全景图像(即目标模型)。我们提出了一种名为 360SFUDA ++ 的方法,有效地从源针孔模型中提取知识,并将可靠的知识转移到目标全景领域。我们利用切线投影(TP)和等面积投影(ERP)分别进行知识提取,并引入了 RP2AM 和 CDAM 模块以更好地转移和对齐知识。通过在合成和真实场景的广泛实验中表明,我们的方法相较于先前的 SFUDA 方法具有显著更好的表现。
Apr, 2024
本文提出了一种新颖而灵活的双路径无监督域自适应框架,DPPASS,利用 ERP 和切向投影 TP 图像作为输入;通过交叉投影和内部投影训练来减少域差异,最终在两个基准测试中实现了超过 1.06%的 mIoU 增量。
Mar, 2023
利用变形补丁嵌入(DPE)和变形 MLP(DMLP),并结合传输学习方法,将针孔相机图像的语义注释和 360 度环视视觉的语义注释结合起来,从而实现全景图像的稳健分割,并通过互补原型自适应实现无监督域自适应。在 Stanford2D3D 数据集中,与完全受监督的现有技术相比,我们的 Trans4PASS 与 MPA 保持可比的性能,而无需超过 1,400 个标记化全景图像。在室外 DensePASS 数据集中,我们打破了现有技术水平,使 mIoU 提高了 14.39%,将新标准设定为 56.38%。
Mar, 2022
通过无监督领域自适应方法,本文提出了一种针对全景语义分割中的畸变问题的新型方法,通过捕捉邻近像素的分布和使用记忆库来优化特征表示,从而显著提高性能并减少参数。
Aug, 2023
本研究提出了一种处理全景图像的深度学习算法,通过样式和投影转换,重新训练和调整现有的算法,从单目全景图像中恢复场景深度和车辆的三维姿态,大大提高了无人驾驶汽车使用全景摄像头时的准确性。
Aug, 2018
通过引入一种新的任务 ——Occlusion-Aware Seamless Segmentation (OASS),本研究同时处理全景图像的视野拓宽、场景理解的遮挡感知预测和视域适应等挑战,并提出了一种名为 UnmaskFormer 的解决方案,实现了狭窄的视野、遮挡和领域差异的同时处理。该方法在 Benchmark 数据集 BlendPASS 上取得了最先进的性能,mAPQ 达到 26.58%,mIoU 达到 43.66%。在公开的全景图像语义分割数据集 SynPASS 和 DensePASS 上,该方法超过了之前的方法,分别获得了 45.34% 和 48.08% 的 mIoU。所提供的 BlendPASS 数据集和源代码将公开提供。
Jul, 2024
提出了一种名为 LIDAPS 的新型模型,通过 IMix 策略实现了实例级的域适应,提高了全景质量,并利用 CLIP-based domain alignment (CDA) 方法来解决语义性能下降的问题,在流行的全景无监督域适应基准测试中取得了最先进的结果。
Apr, 2024