CVPRMar, 2022

弯曲现实：畸变感知 Transformer 用于全景语义分割适应

PDF
TL;DR利用变形补丁嵌入（DPE）和变形 MLP（DMLP），并结合传输学习方法，将针孔相机图像的语义注释和 360 度环视视觉的语义注释结合起来，从而实现全景图像的稳健分割，并通过互补原型自适应实现无监督域自适应。在 Stanford2D3D 数据集中，与完全受监督的现有技术相比，我们的 Trans4PASS 与 MPA 保持可比的性能，而无需超过 1,400 个标记化全景图像。在室外 DensePASS 数据集中，我们打破了现有技术水平，使 mIoU 提高了 14.39％，将新标准设定为 56.38％。
panoramic segmentation modelsdeformable patch embeddingsemantic annotationsunsupervised domain adaptationtransformer
发现论文，激发创造
  • SGAT4PASS: 球面几何感知变换器用于全景语义分割

    提出了一种考虑三维球面几何知识的全景语义分割方法，包括球面几何感知的图像投影、球形变形块嵌入和全景感知损失，实验结果表明该方法在稳定性和性能上均有显著提升。

    Jun, 2023

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 开放式全景分割

    通过使用开放性全景分割任务，以及采用可变形适配器网络和随机全景等距投影数据增强方法，我们提出的 OOOPS 模型在三个全景数据集上均取得了令人瞩目的性能提升，特别是在野外环境 WildPASS 上达到了 + 2.2％，在室内环境 Stanford2D3D 上达到了 + 2.4％的平均交并比（mIoU）

    Jul, 2024

  • 通过无监督域自适应实现超出视野的密集全景语义分割

    本研究主要针对无人车自主驾驶问题，通过领域自适应的方式解决了对 360 度视角全景图像中层次分割的无监督学习问题；通过新的数据集 DensePASS，以及基于关注机制的自适应算法框架 P2PDA 实现了从针孔图像到全景图像的专业语义分割。实验证明，该框架相比于其他无监督学习和全景图像分割方法，有着更高的准确率和更高的效率。

    Oct, 2021

  • DensePASS: 通过注意力增强的上下文交换进行密集型全景语义分割的无监督域适应

    本文采用领域适应的角度，针对 360 度车载相机图像的全景语义分割问题，提出了使用基于注意力机制的跨域全景语义分割框架，并公开了一个密集标注且包含有标注和无标注的全景图像数据集 DensePASS。在两个标准分割网络中使用我们的框架，相对 Mean IoU 会在 6.05% 和 11.26% 之间获得排名的提高。

    Aug, 2021

  • 风格和扭曲都很重要：双路径无监督域自适应用于全景语义分割

    本文提出了一种新颖而灵活的双路径无监督域自适应框架，DPPASS，利用 ERP 和切向投影 TP 图像作为输入；通过交叉投影和内部投影训练来减少域差异，最终在两个基准测试中实现了超过 1.06％的 mIoU 增量。

    Mar, 2023

  • 全景图像翻译

    本文提出了一种全景图像 - 图像转换的畸变感知模型，采用球形位置编码器和无畸变鉴别器，利用变形感知编码器和样式编码器处理全景图像和针孔图像的大领域差异，并且将全景图像的重构阶段与转换阶段分开学习，取得了不错的效果。

    Apr, 2023

  • PanoContext-Former：基于 Transformer 的全景场景理解

    本文提出了一种使用深度先验的方法，从单个全景图中同时复原物体形状、定向边界框和三维房间布局，为了充分利用丰富的上下文信息，设计了一个基于 transformer 的上下文模块来预测场景各组成部分之间的表示和关系。实验表明，我们的方法在布局估计和三维物体检测方面优于先前的全景场景理解方法。同时，本文还引入了一个包括照片逼真的全景图、高保真深度图、精确注释的房间布局和定向物体边界框和形状的真实世界数据集。

    May, 2023

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • 360° 突出物体检测中的失真感知 Transformer

    通过引入两个变形自适应模块和学习关系矩阵，我们提出了一种基于 Transformer 的模型 (DATFormer) 来解决 360° 数据投影导致的特征失真问题，并在三个公开数据集上的实验中证明了该模型在 2D 和 360° 突出物检测任务上的优越性。

    Aug, 2023