Apr, 2024

SGFormer：用于 360 深度估计的球面几何变换器

PDF
TL;DR本文提出了一种名为 SGFormer 的球面几何转换器，旨在解决 360 深度估计中的全景畸变问题，并通过将球面几何先验引入视觉转换器来增强其性能。在实验中，我们对流行的基准数据集进行了广泛的测试，证明了我们方法优于现有最先进的解决方案。
panoramic distortion360 depth estimationspherical geometry transformerspherical geometric priorsvision transformers
发现论文，激发创造
  • PanoFormer： 室内全景变换器用于 360 度深度估计

    本文提出了一种名为 PanoFormer 的全景深度估计方法，通过使用来自球形域的切向补丁、可学习的 token 流以及全景特定指标来提高全景结构的感知能力，并通过重新设计自注意力模块来增强其拟合全景几何结构的能力，经实验证明其取得了比现有的 SOTA 方法更好的表现，并且可以有效地扩展以解决语义全景分割问题。

    Mar, 2022

  • EGformer：基于全景几何偏置的 Transformer 网络用于 360° 深度估计

    本研究提出了一种基于全景图几何偏置的 EGformer 变压器，利用全景图几何作为局部注意力的偏置，使得局部注意力在全局范围内进行提取，以实现对扭曲 equirectangular 图像的深度估计。相较最近的以变压器为基础的 EI 深度估计研究，本方法具有最佳的深度结果，计算成本和参数最低，并证明了所提出方法的有效性。

    Apr, 2023

  • 360° 突出物体检测中的失真感知 Transformer

    通过引入两个变形自适应模块和学习关系矩阵，我们提出了一种基于 Transformer 的模型 (DATFormer) 来解决 360° 数据投影导致的特征失真问题，并在三个公开数据集上的实验中证明了该模型在 2D 和 360° 突出物检测任务上的优越性。

    Aug, 2023

  • 球形变压器：将球形信号适应于卷积神经网络

    本文提出基于 Spherical Transformer 的方法，将球面信号转换为能够被标准 CNNs 直接处理的向量，从而使许多经过精心设计的 CNNs 架构可以通过预训练在不同任务和数据集中重复使用，该方法在球形 MNIST 识别，3D 物体分类和全向图像语义分割任务上具有优异性能。

    Jan, 2021

  • SGAT4PASS: 球面几何感知变换器用于全景语义分割

    提出了一种考虑三维球面几何知识的全景语义分割方法，包括球面几何感知的图像投影、球形变形块嵌入和全景感知损失，实验结果表明该方法在稳定性和性能上均有显著提升。

    Jun, 2023

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • PanoNormal：单目室内 360° 表面法线估计

    介绍了一种用于 360 度图像的单目表面法线估计架构 PanoNormal，通过使用多级全局自注意机制和考虑球面特征分布，结合了 CNN 和 ViTs 的优势，实现了在多个流行的 360 度单目数据集上的最先进性能。

    May, 2024

  • CRF360D：基于球面全连接 CRF 的单目 360 度深度估计

    通过构建球形全连接 CRF 并引入球形窗口变换和平面 - 球面交互模块，提出了一种新的 360 度深度估计框架 CRF360D，可以在不同数据集上实现最先进的性能。

    May, 2024

  • SGDFormer：一阶段基于 Transformer 的跨光谱立体图像引导去噪架构

    我们提出了一种名为 SGDFormer 的单阶段变压器架构，用于交叉光谱立体图像引导去噪，该架构将立体图像的对应建模和特征融合集成到一个统一的网络中，以恢复没有伪影和良好细节结构的图像，并在各种数据集上取得了最先进的性能。

    Mar, 2024