AAAIJan, 2022

细节保留变换器用于光场图像超分辨率

PDF
TL;DR该论文提出了一种基于 Transformers 的新型 LFSR 公式，将每个垂直或水平角度视图的子孔径图像视为序列，并通过空间 - 角度本地增强的自我注意力层在每个序列内建立长程几何依赖关系，该模型还提出了一种保留细节的转换器 DPT，并利用光场的梯度图引导序列学习。在多个光场数据集上进行评估，该方法表现优异，超越其他最先进的方案。
light field super-resolutiontransformerssequence-to-sequence reconstructiondetail-preserving transformerlong-range geometric dependencies
发现论文，激发创造
  • 基于高维稠密残差卷积神经网络的光场重建

    利用基于张量恢复的学习框架进行高维光场重建和超分辨率，并通过多范围训练策略，提出一种新的归一化操作和阶段性损失函数来改善性能。在多个光场数据集中，该方法实现了优越的性能和更少的执行时间。

    Oct, 2019

  • 超越子空间隔离：用于轻场图像超分辨率的多对多变形器

    通过引入卷积和 Transformer，本文提出了一种新颖的 Many-to-Many Transformer（M2MT）算法，以解决光场图像超分辨率问题中的低维空间隔离限制，实现了跨子孔径图像的全局优化，从而显著改善了性能。

    Jan, 2024

  • 基于物理信息的合奏表现形式用于光场图像超分辨率

    本文提出了一种通过分析光场图像超分辨率嵌入的几何关系并引入虚拟狭缝图像（VSI）的新 LF 子空间来提高效率的方法，并且使用超采样和 EPIXformer 几何感知译码器对低分辨率 LF 数据进行超分辨率重建，实验结果表明该方法在各种差异处理方面优于其他现有方法。

    May, 2023

  • LFSRDiff：基于扩散模型的光场图像超分辨率

    通过引入 LFSRDiff，首个基于扩散的光场图像超分模型，将 LF 解缠机制与扩散模型相结合，实现了在 LF 图像中更有效地提取和融合空间和角度信息，产生了多样且逼真的超分辨结果，尤其在感知度量方面表现出较高的水平。

    Nov, 2023

  • 基于注意力引导的混合透镜融合的光场超分辨率

    本文利用新颖的端到端学习法解决通过混合镜头（高分辨率相机周围有多个低分辨率相机）重建高分辨率光场图像的问题，通过深度多维和跨域特征表征回归一个具有空间一致性的中间估计，同时构建另一个维护高频纹理的中间估计，在通过学习的注意图整合两个中间估计的优势，最终重建高分辨率的光场图像。实验证明本研究方法相较于现有技术在提高峰值信噪比两个单位的同时保留了光场结构，并且是首个使用端到端深度学习方法解决混合输入高分辨率光场图像问题。

    Jul, 2019

  • 基于深度排列几何嵌入和结构一致性正则化的光场空间超分辨率

    本文提出一种基于学习的轻场景图像空间超分辨率框架，在每个轻场景图像视角学习探索不同的信息，并通过正则化网络结构来确保场景的正确视差关系，实验结果表明该方法不仅提高了平均峰值信噪比超过 1.0 dB，而且以更低的计算成本保持了更准确的视差细节。

    Apr, 2020

  • 一种低秩先验和深度卷积神经网络的光场超分辨率方法

    本文介绍了一种用于恢复整个光场并实现在所有子孔径图像上的一致性的学习空间光场超分辨率方法，其中算法先使用光流来对齐光场，然后使用低秩近似来减少其角度尺寸，最后通过 DCNN 来恢复超分辨率嵌入。实验结果表明，该方法优于现有的光场超分辨率算法，平均峰值信噪比相对于第二个最佳性能的方法提高了 0.23 dB; 并且还可以使用迭代反投影作为后处理步骤来进一步提高性能。

    Jan, 2018

  • 基于曼巴的高效子空间扫描的光场超分辨率

    本文基于选择性状态空间模型 Mamba，提出了一种基于 Mamba 的光场超分辨率方法 MLFSR，通过设计高效的子空间扫描策略来实现对高分辨率 4D 光场的全图像处理，显著提升了性能。

    Jun, 2024

  • 利用可变形卷积进行光场图像超分辨率

    本文提出了一种用于 Light field 图像超分辨率的变形卷积网络，该网络解决了 Light field 图像中由于角度不同导致的位移不一致问题，并通过角度变形对齐模块实现双向对中，有效地将角度信息编码到每个视图的特征中，从而提高了所有 LF 图像的 SR 重建质量，并在公共数据集和自行开发的数据集上得到了验证。

    Jul, 2020

  • 光场空间分辨率增强框架

    光场成像具有捕捉角度和空间光分布的能力，通过模块化方法进行分辨率增强，以每个光场视角独立增强分辨率的纹理变换网络，并利用光场的规则性来同时提高所有光场图像视角的分辨率，相比现有方法在定性和定量评估方面表现出更好的性能。

    May, 2024