Apr, 2023

基于不确定性感知的结构知识迁移的 360 度高分辨深度估计

PDF
TL;DR本文介绍了一种使用弱监督学习方法来进行全景 3D 深度估计的高分辨率重建技术，该技术能够从低分辨率全景图像中提取场景结构知识并将其传递到高分辨率深度估计中。
omnidirectional imagesmonocular depth estimationsuper-resolutionweakly supervised learningscene structural knowledge transfer
发现论文，激发创造
  • OmniSSR：零样本全向图像超分辨率利用稳定扩散模型

    通过使用稳定扩散模型的图像先验，将全向图像超分辨率与保真度和真实感相结合，实现了零样本学习，无需训练或微调。在两个基准数据集上的实验证明了该方法的有效性。

    Apr, 2024

  • OSRT: 基于畸变感知变换器的全向图像超分辨率

    本文提出了一种基于 Fisheye 降采样和失真感知 Transformer 的方法，用于实现全景图像的高清增强，实验结果表明其表现优于以往的方法。

    Feb, 2023

  • 几何畸变导向的全向图像超分辨率变换器

    介绍了一种新的基于几何畸变引导变压器的全向图像超分辨率方法，通过引入畸变调制的矩形窗口自注意机制和变形自注意机制，提高了感知畸变的能力，并在不同自注意模块间采用动态特征融合方案。在公开数据集上进行了广泛的实验，表明该方法在全向图像超分辨率方面优于现有方法。

    Jun, 2024

  • 基于跨任务知识迁移的场景结构指导学习：单深度超分辨率

    在没有 RGB-D 成对数据的情况下，为第一次探索如何在训练阶段学习跨模态知识，并在单一深度模态的目标数据集上进行测试。通过构建一个辅助深度估计任务，实现了 RGB 模态中的场景结构指导知识到单一深度模态下的 DSR 任务的跨任务交互。广泛实验表明，该方案相较于其他 DSR 方法表现优异。

    Mar, 2021

  • OmniZoomer: 学会在高分辨率下移动和缩放球体

    本文介绍了一种新的基于深度学习的方法，称为 OmniZoomer，它将 Möbius 变换纳入网络中，实现对全景图像的移动和缩放，并通过学习不同条件下的变换特征图来处理模糊效应和失真问题。

    Aug, 2023

  • HR-Depth：高分辨率自监督单目深度估计

    本文提出了改进的 DepthNet-HR-Depth，使用两种有效的策略 —— 重新设计 DepthNet 中的 skip-connection 以获得更好的高分辨率特征，并提出了特征融合 Squeeze-and-Excitation（fSE）模块以更高效地融合特征，以获得在高分辨率注意和低分辨率注意下超过所有最先进方法的性能。

    Dec, 2020

  • OPDN: 全向位置感知变形网络用于全向图像超分辨率

    本文提出了一种两阶段的 360 度全向图像超分辨率框架，利用全向位置感知可变形块（OPDB）和傅里叶上采样，以及空间频率融合模块（SFF）来增强 360 度全向图像的特征提取和高频信息，通过像素解交错操作和数据的收集和处理，该方法在 NTIRE 2023 挑战中的成绩卓越。

    Apr, 2023

  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 通过结构感知和互补数据集提高单目深度估计

    本文提出了一种结构感知的神经网络来处理单目深度估计过程中普遍存在的结构信息缺失问题，该网络采用了空间注意力块来捕捉视觉特征的空间关系，引入全局聚焦相对损失来增强深度预测的空间约束，并引入了新的 Hard Case Depth 数据集和专门的渐进式训练策略来训练模型，实验证明该方法在 NYUDv2 数据集上具有很高的预测精度和泛化性能。

    Jul, 2020

  • OmniMVS：全向立体匹配的端到端学习

    本文提出了一种新颖的端到端深度神经网络模型，用于从广角多视角立体成像中实现全向深度估计，并提出了大规模的合成数据集来用于算法的训练与测试。结果表明，所提出的方法在合成和实际环境中都生成了出色的结果，并优于现有技术。

    Aug, 2019