Oct, 2023

用于语义分割的标准卷积神经网络的等距投影图像构建方法

PDF
TL;DR通过使用标准的卷积神经网络（CNNs）处理改进的球面居中投影和等距圆柱投影的等距视角图像，该研究实现了对广角图像进行语义分割的效果，相比于其他三种方法，该方法具有最高的平均交并比（IoU）值，分别提高了 23.85％、10.7％和 17.23％。
360-degree spherical imagesequirectangular imagecnns modelssemantic segmentationiou value
发现论文，激发创造
  • 学习球面卷积以从 360° 图像中快速提取特征

    该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像，该方法可以有效地提取特征并利用预先训练的卷积神经网络，从而大大降低了计算量和提高了准确性。

    Aug, 2017

  • UniFuse: 360 度全景深度估计的单向融合

    本文提出了一种将立方体贴图特征单向馈送到全景图特征的融合框架，并设计了一个更有效的融合模块。实验证明了该融合策略和模块的有效性，该模型在四个流行数据集上实现了最先进的性能。

    Feb, 2021

  • PanoNormal：单目室内 360° 表面法线估计

    介绍了一种用于 360 度图像的单目表面法线估计架构 PanoNormal，通过使用多级全局自注意机制和考虑球面特征分布，结合了 CNN 和 ViTs 的优势，实现了在多个流行的 360 度单目数据集上的最先进性能。

    May, 2024

  • 使用教师 - 学生模型融合等距矩阵和球面表示的单目全景图像深度估计

    使用教师 - 学生模型融合环形和球形表达的方法，开发了一种新的球形卷积核计算方法和分割特征融合（SFF）方法来提取特征，并使用教师 - 学生模型学习深度图像的潜在特征，从而实现对环形图像深度图的估计。在实验中，该方法在 360 度单眼深度估计基准数据集上进行了测试，并且在大多数评估指标上优于现有方法。

    May, 2024

  • EGformer：基于全景几何偏置的 Transformer 网络用于 360° 深度估计

    本研究提出了一种基于全景图几何偏置的 EGformer 变压器，利用全景图几何作为局部注意力的偏置，使得局部注意力在全局范围内进行提取，以实现对扭曲 equirectangular 图像的深度估计。相较最近的以变压器为基础的 EI 深度估计研究，本方法具有最佳的深度结果，计算成本和参数最低，并证明了所提出方法的有效性。

    Apr, 2023

  • 球形特征金字塔网络用于语义分割

    使用基于图的球形卷积神经网络（CNNs）的金字塔特征网络（FPNs）设计了球形 FPNs，与球形 UNets 相比，我们的模型在 Stanford 2D-3D-S 数据集上表现出一致的改进，而且使用更少的参数，其 mIOU 为 48.75，在先前最好的球形 CNN 上提高了 3.75 个 IoU 点。

    Jul, 2023

  • 全景图中的目标检测

    提出了一个高分辨率的全景图（360 度，虚拟现实）数据集，以进行对象检测，并提出了 YOLO 检测器的多投影变体。通过使用传统数据集中可用的训练示例，仅使用中等 GPU 计算能力和内存的低分辨率图像，以及采用多投影 YOLO 处理投影畸变，解决了全景图像缺乏注释训练数据，高分辨率和几何畸变的主要挑战。在实验中，YOLO 优于其他先进的检测器，而我们的多投影 YOLO 在低分辨率输入方面实现了最佳精度。

    May, 2018

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • 基于二十面体球的定向语义分割

    该论文提出了一种适用于全景图像的方位感知卷积神经网络框架，该框架可以更高效地进行分类和语义分割任务，并为自动驾驶系统等应用程序提供了 “全景式” 理解周围环境的能力。

    Jul, 2019

  • 超球损失的 $360^o$ 表面回归

    本文通过利用现有的 3D 数据集和重新渲染的方式解决 $360^o$ 图像的表面法向数据不足的问题，并通过深度卷积神经网络来实现全景图像的表面估计。

    Sep, 2019