ECCVMar, 2022

PanoFormer： 室内全景变换器用于 360 度深度估计

PDF
TL;DR本文提出了一种名为 PanoFormer 的全景深度估计方法，通过使用来自球形域的切向补丁、可学习的 token 流以及全景特定指标来提高全景结构的感知能力，并通过重新设计自注意力模块来增强其拟合全景几何结构的能力，经实验证明其取得了比现有的 SOTA 方法更好的表现，并且可以有效地扩展以解决语义全景分割问题。
panoramic depth estimationconvolutional neural networkspherical tangent domainlearnable token flowself-attention module
发现论文，激发创造
  • SGFormer：用于 360 深度估计的球面几何变换器

    本文提出了一种名为 SGFormer 的球面几何转换器，旨在解决 360 深度估计中的全景畸变问题，并通过将球面几何先验引入视觉转换器来增强其性能。在实验中，我们对流行的基准数据集进行了广泛的测试，证明了我们方法优于现有最先进的解决方案。

    Apr, 2024

  • PanoContext-Former：基于 Transformer 的全景场景理解

    本文提出了一种使用深度先验的方法，从单个全景图中同时复原物体形状、定向边界框和三维房间布局，为了充分利用丰富的上下文信息，设计了一个基于 transformer 的上下文模块来预测场景各组成部分之间的表示和关系。实验表明，我们的方法在布局估计和三维物体检测方面优于先前的全景场景理解方法。同时，本文还引入了一个包括照片逼真的全景图、高保真深度图、精确注释的房间布局和定向物体边界框和形状的真实世界数据集。

    May, 2023

  • PanoNormal：单目室内 360° 表面法线估计

    介绍了一种用于 360 度图像的单目表面法线估计架构 PanoNormal，通过使用多级全局自注意机制和考虑球面特征分布，结合了 CNN 和 ViTs 的优势，实现了在多个流行的 360 度单目数据集上的最先进性能。

    May, 2024

  • 弯曲现实：畸变感知 Transformer 用于全景语义分割适应

    利用变形补丁嵌入（DPE）和变形 MLP（DMLP），并结合传输学习方法，将针孔相机图像的语义注释和 360 度环视视觉的语义注释结合起来，从而实现全景图像的稳健分割，并通过互补原型自适应实现无监督域自适应。在 Stanford2D3D 数据集中，与完全受监督的现有技术相比，我们的 Trans4PASS 与 MPA 保持可比的性能，而无需超过 1,400 个标记化全景图像。在室外 DensePASS 数据集中，我们打破了现有技术水平，使 mIoU 提高了 14.39％，将新标准设定为 56.38％。

    Mar, 2022

  • 全景视觉 Transformer 用于 360 度视频显著性检测

    本文提出了一种名为 Panoramic Vision Transformer（PAVER）的新框架，能够使用 Vision Transformer 结合可变形卷积从 360 度视频的局部特征中学习视觉显著性，从而在 Wild360 基准测试上显著优于其他先进模型，无需监督或辅助信息。

    Sep, 2022

  • PanoSwin：全景风格的 Swin Transformer 用于全景理解

    本文提出了一种名为 PanoSwin 的简单而有效的架构，用于学习具有 ERP 的全景表示。通过探索全景式位移窗口方案和新颖的俯仰注意力分别解决边界不连续和空间失真的挑战，并利用绝对位置嵌入和相对位置偏差来增强全景几何信息。同时，通过设计一种新颖的两阶段学习框架，从平面图像向全景图像进行知识转移，实验结果表明 PanoSwin 在全景理解方面具有有效性。

    Aug, 2023

  • DepthFormer：利用长程相关性和局部信息进行准确的单眼深度估计

    该研究提出了一种基于 Transformer 和 CNN 特征组合的分层聚合模型，以解决有监督单目深度估计的问题，实验结果表明，该模型在 KITTI、NYU 和 SUN RGB-D 等数据集上均超越了现有的有监督单目深度估计方法，特别是在 KITTI 深度估计基准测试上实现了最具竞争力的结果。

    Mar, 2022

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022

  • 球形变压器：将球形信号适应于卷积神经网络

    本文提出基于 Spherical Transformer 的方法，将球面信号转换为能够被标准 CNNs 直接处理的向量，从而使许多经过精心设计的 CNNs 架构可以通过预训练在不同任务和数据集中重复使用，该方法在球形 MNIST 识别，3D 物体分类和全向图像语义分割任务上具有优异性能。

    Jan, 2021

  • PanoVOS：利用 Transformer 桥接非全景和全景视图进行视频分割

    本文提出了一种全景视频数据集 PanoVOS，通过对现有的 15 个视频对象分割模型进行评估，发现它们都无法解决全景视频中像素级内容不连续的问题。因此，我们提出了一种全景空间一致性转换器 (PSCFormer)，可以利用前一帧的语义边界信息与当前帧进行像素级匹配。大量实验证明，与现有的模型相比，我们的 PSCFormer 网络在全景设置下的分割结果方面具有巨大优势。希望我们的 PanoVOS 数据集能够推动全景分割 / 跟踪的发展。

    Sep, 2023