CVPRApr, 2023

OPDN: 全向位置感知变形网络用于全向图像超分辨率

PDF
TL;DR本文提出了一种两阶段的 360 度全向图像超分辨率框架，利用全向位置感知可变形块（OPDB）和傅里叶上采样，以及空间频率融合模块（SFF）来增强 360 度全向图像的特征提取和高频信息，通过像素解交错操作和数据的收集和处理，该方法在 NTIRE 2023 挑战中的成绩卓越。
360 degree omnidirectional imagessuperresolutionopdbspatial frequency fusion modulentire 2023 challenge
发现论文，激发创造
  • OmniSSR：零样本全向图像超分辨率利用稳定扩散模型

    通过使用稳定扩散模型的图像先验，将全向图像超分辨率与保真度和真实感相结合，实现了零样本学习，无需训练或微调。在两个基准数据集上的实验证明了该方法的有效性。

    Apr, 2024

  • OSRT: 基于畸变感知变换器的全向图像超分辨率

    本文提出了一种基于 Fisheye 降采样和失真感知 Transformer 的方法，用于实现全景图像的高清增强，实验结果表明其表现优于以往的方法。

    Feb, 2023

  • 全向超分辨率投影的全面比较

    本文就全向超分辨率问题进行研究，发现在深度神经网络中，不同投影方法对性能有极大影响。通过对项目进行全面比较，发现最小失真度的等角立方体映射投影方法在 WS-PSNR 方面表现最佳。

    Apr, 2023

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 几何畸变导向的全向图像超分辨率变换器

    介绍了一种新的基于几何畸变引导变压器的全向图像超分辨率方法，通过引入畸变调制的矩形窗口自注意机制和变形自注意机制，提高了感知畸变的能力，并在不同自注意模块间采用动态特征融合方案。在公开数据集上进行了广泛的实验，表明该方法在全向图像超分辨率方面优于现有方法。

    Jun, 2024

  • OmniZoomer: 学会在高分辨率下移动和缩放球体

    本文介绍了一种新的基于深度学习的方法，称为 OmniZoomer，它将 Möbius 变换纳入网络中，实现对全景图像的移动和缩放，并通过学习不同条件下的变换特征图来处理模糊效应和失真问题。

    Aug, 2023

  • OmniPD：一步完成全景室内视角的行人检测

    本文提出了一种基于卷积神经网络进行一步检测的全景俯视室内场景人物检测器，并利用数据增强和迁移学习技术，以及 Microsoft COCO 和 PASCAL VOC 数据集进行了 fine-tune 和评估，获得了较好的检测精度。

    Apr, 2022

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022

  • OmniMVS：全向立体匹配的端到端学习

    本文提出了一种新颖的端到端深度神经网络模型，用于从广角多视角立体成像中实现全向深度估计，并提出了大规模的合成数据集来用于算法的训练与测试。结果表明，所提出的方法在合成和实际环境中都生成了出色的结果，并优于现有技术。

    Aug, 2019

  • FOD-Swin-Net：基于变压器的深度模型进行纤维定向分布的角度超分辨率

    通过使用自动角度超分辨率从更快的采集中来克服当前长时间的磁共振成像数据得出纤维定向的问题，我们在公开可用的 Human Connectome Project (HCP) DW-MRI 数据上训练了一种基于变压器的深度学习架构，FOD-Swin-Net，能够将来自 32 个方向的单壳重建与 288 个方向的多壳 FOD 重建相媲美，极大地减少了初始采集所需的方向数量。通过与角度相关系数和定性可视化的评估，我们发现重建的 FOD 在 HCP 测试数据中表现优异，高于现有技术水平。

    Feb, 2024