Apr, 2023

EGformer：基于全景几何偏置的 Transformer 网络用于 360° 深度估计

PDF
TL;DR本研究提出了一种基于全景图几何偏置的 EGformer 变压器，利用全景图几何作为局部注意力的偏置，使得局部注意力在全局范围内进行提取，以实现对扭曲 equirectangular 图像的深度估计。相较最近的以变压器为基础的 EI 深度估计研究，本方法具有最佳的深度结果，计算成本和参数最低，并证明了所提出方法的有效性。
equirectangular imagesdepth estimationtransformerlocal attentiongeometry-biased
发现论文，激发创造
  • SGFormer：用于 360 深度估计的球面几何变换器

    本文提出了一种名为 SGFormer 的球面几何转换器，旨在解决 360 深度估计中的全景畸变问题，并通过将球面几何先验引入视觉转换器来增强其性能。在实验中，我们对流行的基准数据集进行了广泛的测试，证明了我们方法优于现有最先进的解决方案。

    Apr, 2024

  • 通过非局部稠密预测转换器和联合监督和自监督学习提高 360 单 ocular 深度估计

    本文提出了一个 360 度深度估计的方法，结合自监督学习和有监督学习，并使用全局信息编码的视觉 transformer 实现全局非局部融合块，提高了深度估计的准确性和整体效果。在多个基准测试中，我们的方法在之前的研究工作中取得了显著的改进和最先进的表现。

    Sep, 2021

  • 360° 突出物体检测中的失真感知 Transformer

    通过引入两个变形自适应模块和学习关系矩阵，我们提出了一种基于 Transformer 的模型 (DATFormer) 来解决 360° 数据投影导致的特征失真问题，并在三个公开数据集上的实验中证明了该模型在 2D 和 360° 突出物检测任务上的优越性。

    Aug, 2023

  • PanoNormal：单目室内 360° 表面法线估计

    介绍了一种用于 360 度图像的单目表面法线估计架构 PanoNormal，通过使用多级全局自注意机制和考虑球面特征分布，结合了 CNN 和 ViTs 的优势，实现了在多个流行的 360 度单目数据集上的最先进性能。

    May, 2024

  • 用于语义分割的标准卷积神经网络的等距投影图像构建方法

    通过使用标准的卷积神经网络（CNNs）处理改进的球面居中投影和等距圆柱投影的等距视角图像，该研究实现了对广角图像进行语义分割的效果，相比于其他三种方法，该方法具有最高的平均交并比（IoU）值，分别提高了 23.85％、10.7％和 17.23％。

    Oct, 2023

  • PanoFormer： 室内全景变换器用于 360 度深度估计

    本文提出了一种名为 PanoFormer 的全景深度估计方法，通过使用来自球形域的切向补丁、可学习的 token 流以及全景特定指标来提高全景结构的感知能力，并通过重新设计自注意力模块来增强其拟合全景几何结构的能力，经实验证明其取得了比现有的 SOTA 方法更好的表现，并且可以有效地扩展以解决语义全景分割问题。

    Mar, 2022

  • Elite360D：通过语义和距离感知双投影融合实现高效的 360 度深度估计

    360 深度估计是重建三维场景的关键技术之一。本文提出了一种名为 Elite360D 的新框架，通过使用 ERP 图像和 ICOSAP 点集，结合局部和全局特征，有效地估计 360 深度，其在多个基准数据集上优于之前的方法。

    Mar, 2024

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022

  • FishFormer：基于环切片的 Transformer 技术用于鱼眼矫正及有效域探索

    Fishformer 采用环形分割方法和层次注意机制提高了鱼眼图像的全局和局部知觉，进而提高了鱼眼图像校正的性能

    Jul, 2022

  • TransGeo: 跨视图图像地理定位的完整解决方案 ——Transformer Is All You Need

    本研究提出了一种基于纯 Transformer 的方法（TransGeo）来针对交叉视图图像地理定位中的局限性，通过全局信息建模和显式位置信息编码等优势，结合了注意力引导的非均匀裁剪方法以实现性能优化，结果表明该方法在城市和乡村数据集上取得了最优结果，并显著降低了计算成本。

    Mar, 2022