Feb, 2023

OSRT: 基于畸变感知变换器的全向图像超分辨率

PDF
TL;DR本文提出了一种基于 Fisheye 降采样和失真感知 Transformer 的方法，用于实现全景图像的高清增强，实验结果表明其表现优于以往的方法。
omnidirectional imagesimage super-resolutionfisheye downsamplingdistortion-aware transformerdata augmentation
发现论文，激发创造
  • 几何畸变导向的全向图像超分辨率变换器

    介绍了一种新的基于几何畸变引导变压器的全向图像超分辨率方法，通过引入畸变调制的矩形窗口自注意机制和变形自注意机制，提高了感知畸变的能力，并在不同自注意模块间采用动态特征融合方案。在公开数据集上进行了广泛的实验，表明该方法在全向图像超分辨率方面优于现有方法。

    Jun, 2024

  • OmniSSR：零样本全向图像超分辨率利用稳定扩散模型

    通过使用稳定扩散模型的图像先验，将全向图像超分辨率与保真度和真实感相结合，实现了零样本学习，无需训练或微调。在两个基准数据集上的实验证明了该方法的有效性。

    Apr, 2024

  • OPDN: 全向位置感知变形网络用于全向图像超分辨率

    本文提出了一种两阶段的 360 度全向图像超分辨率框架，利用全向位置感知可变形块（OPDB）和傅里叶上采样，以及空间频率融合模块（SFF）来增强 360 度全向图像的特征提取和高频信息，通过像素解交错操作和数据的收集和处理，该方法在 NTIRE 2023 挑战中的成绩卓越。

    Apr, 2023

  • 基于不确定性感知的结构知识迁移的 360 度高分辨深度估计

    本文介绍了一种使用弱监督学习方法来进行全景 3D 深度估计的高分辨率重建技术，该技术能够从低分辨率全景图像中提取场景结构知识并将其传递到高分辨率深度估计中。

    Apr, 2023

  • OmniZoomer: 学会在高分辨率下移动和缩放球体

    本文介绍了一种新的基于深度学习的方法，称为 OmniZoomer，它将 Möbius 变换纳入网络中，实现对全景图像的移动和缩放，并通过学习不同条件下的变换特征图来处理模糊效应和失真问题。

    Aug, 2023

  • ResVR：全景图像的联合缩放和视口渲染

    本研究提出了 ResVR 框架，该框架可以在保持低传输开销的同时，为用户呈现具有高质量的头戴显示器中观看的全景图。通过开发一种新的像素采样策略处理视口与 ERP 之间的复杂映射，并创新地使用球面微分生成球形像素形状表示技术来改善呈现视口的视觉质量，我们的 ResVR 在不同视场、分辨率和视角条件下的视口呈现任务中表现优于现有方法。

    Apr, 2024

  • 全向超分辨率投影的全面比较

    本文就全向超分辨率问题进行研究，发现在深度神经网络中，不同投影方法对性能有极大影响。通过对项目进行全面比较，发现最小失真度的等角立方体映射投影方法在 WS-PSNR 方面表现最佳。

    Apr, 2023

  • 基于 Transformer 的选择性超分辨率用于高效图像精炼

    通过将图像分割为不重叠的图块、使用金字塔结构选择感兴趣的图块，并利用深度特征仅重构这些选定的图块，我们提出了一种新颖的基于变压器的算法 Selective Super-Resolution（SSR），解决了常规超分辨率方法在放大整个大图像时的巨大计算成本和在背景细化过程中引入额外或可能有害信息的两个缺点。实验证明，我们的方法在超分辨率方面具备效率和稳健性，在 BDD100K 数据集上与最先进的方法相比，FID 评分从 26.78 降低到 10.41，计算成本减少了 40%。源代码可在此 https URL 获得。

    Dec, 2023

  • 学习基于方向先验的射线图像超分辨率：方向操作变换器

    本文提出了一种新颖的名为 $O^{2}$former 的框架，通过引入方向操作员和多尺度特征融合策略，改善了放射性图像超分辨率任务中重建模型的性能，有望进一步推动放射图像增强领域的发展。

    Dec, 2023

  • 学习全频域自适应表示以进行实际图像超分辨率

    通过使用频率分解和区域自适应频率聚合，我们设计了一种全频率区域自适应网络（ORNet），用于实现真实图像的超分辨率重建，该网络的训练基于特征表示，能够补偿真实低分辨率图像中的信息丢失，并具有场景不可知性。

    Dec, 2020