May, 2024

PanoNormal：单目室内 360° 表面法线估计

PDF
TL;DR介绍了一种用于 360 度图像的单目表面法线估计架构 PanoNormal，通过使用多级全局自注意机制和考虑球面特征分布，结合了 CNN 和 ViTs 的优势，实现了在多个流行的 360 度单目数据集上的最先进性能。
发现论文，激发创造
  • 超球损失的 $360^o$ 表面回归

    本文通过利用现有的 3D 数据集和重新渲染的方式解决 $360^o$ 图像的表面法向数据不足的问题，并通过深度卷积神经网络来实现全景图像的表面估计。

    Sep, 2019

  • PanoFormer： 室内全景变换器用于 360 度深度估计

    本文提出了一种名为 PanoFormer 的全景深度估计方法，通过使用来自球形域的切向补丁、可学习的 token 流以及全景特定指标来提高全景结构的感知能力，并通过重新设计自注意力模块来增强其拟合全景几何结构的能力，经实验证明其取得了比现有的 SOTA 方法更好的表现，并且可以有效地扩展以解决语义全景分割问题。

    Mar, 2022

  • 学习球面卷积以从 360° 图像中快速提取特征

    该研究提出了一种基于球面卷积网络的方法来处理 360° 全景图像，该方法可以有效地提取特征并利用预先训练的卷积神经网络，从而大大降低了计算量和提高了准确性。

    Aug, 2017

  • 平面感知网络室内三维重建

    本研究提出了一种针对单个室内 360 度图像的平面感知卷积神经网络方法，可实现密集的深度和表面法向估计以及平面边界识别，此外，添加测地线坐标图作为网络先验可显著提高表面法向预测准确性，最终可以将网络的输出组合用于生成高质量的室内场景 3D 模型。

    Jul, 2019

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 消除盲区：将 3D 物体检测和单目深度估计应用于 360° 全景图像

    本研究提出了一种处理全景图像的深度学习算法，通过样式和投影转换，重新训练和调整现有的算法，从单目全景图像中恢复场景深度和车辆的三维姿态，大大提高了无人驾驶汽车使用全景摄像头时的准确性。

    Aug, 2018

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • 通过空间矫正器估计倾斜图像的表面法线

    本文提出了一种空间矫正器，用于估计倾斜图像的表面法线，并结合截断角损失和 Tilt-RGBD 数据集的应用，取得了优于现有方法的表现。

    Jul, 2020

  • 用于自监督 360 深度估计的球面视角合成

    本文探讨了自我监督的球面视图综合方法对于学习单目 360 度深度的可行性，并利用几何形式提出了水平和垂直基线、三目的结果。同时，本研究还展示了在等距矩形域内应用传统 CNN 的表现更佳的方法，并利用地面真实深度数据进行比较，结果表明①替代性研究方向可能更适合实现更高质量的深度感知。

    Sep, 2019