May, 2023

基于物理信息的合奏表现形式用于光场图像超分辨率

PDF
TL;DR本文提出了一种通过分析光场图像超分辨率嵌入的几何关系并引入虚拟狭缝图像（VSI）的新 LF 子空间来提高效率的方法，并且使用超采样和 EPIXformer 几何感知译码器对低分辨率 LF 数据进行超分辨率重建，实验结果表明该方法在各种差异处理方面优于其他现有方法。
light field image super-resolutionvirtual-slit imageslf subspacegeometry-aware decoderepixformer
发现论文，激发创造
  • 基于深度排列几何嵌入和结构一致性正则化的光场空间超分辨率

    本文提出一种基于学习的轻场景图像空间超分辨率框架，在每个轻场景图像视角学习探索不同的信息，并通过正则化网络结构来确保场景的正确视差关系，实验结果表明该方法不仅提高了平均峰值信噪比超过 1.0 dB，而且以更低的计算成本保持了更准确的视差细节。

    Apr, 2020

  • 光场图像超分辨率的空间 - 角度交互

    本文提出一种名为 LF-InterNet 的空间角度交互网络用于光场图像超分辨率，通过特征交互逐渐融合空间和角度信息。我们的方法在低计算成本下，能够以高 PSNR 和 SSIM 评分还原重构图像的细节，明显优于现有的超分辨率方法。

    Dec, 2019

  • NTIRE 2023 光场图像超分辨率挑战：数据集、方法和结果

    本文总结了首个基于光场图像超分辨率的 NTIRE 挑战赛，该挑战旨在在标准双三次降级下将光场图像进行超分辨率处理，其中着重探讨了如何利用大量视角相互补充的角度信息来进行超分辨率处理，并介绍了从 148 个参赛者中评选出的 11 个团队的解决方案和他们的关键技巧。

    Apr, 2023

  • 基于注意力引导的混合透镜融合的光场超分辨率

    本文利用新颖的端到端学习法解决通过混合镜头（高分辨率相机周围有多个低分辨率相机）重建高分辨率光场图像的问题，通过深度多维和跨域特征表征回归一个具有空间一致性的中间估计，同时构建另一个维护高频纹理的中间估计，在通过学习的注意图整合两个中间估计的优势，最终重建高分辨率的光场图像。实验证明本研究方法相较于现有技术在提高峰值信噪比两个单位的同时保留了光场结构，并且是首个使用端到端深度学习方法解决混合输入高分辨率光场图像问题。

    Jul, 2019

  • 一种低秩先验和深度卷积神经网络的光场超分辨率方法

    本文介绍了一种用于恢复整个光场并实现在所有子孔径图像上的一致性的学习空间光场超分辨率方法，其中算法先使用光流来对齐光场，然后使用低秩近似来减少其角度尺寸，最后通过 DCNN 来恢复超分辨率嵌入。实验结果表明，该方法优于现有的光场超分辨率算法，平均峰值信噪比相对于第二个最佳性能的方法提高了 0.23 dB; 并且还可以使用迭代反投影作为后处理步骤来进一步提高性能。

    Jan, 2018

  • 光场分解用于超分辨率和视差估计

    本文介绍了一种用于轻场摄像机数据处理的卷积神经网络，利用分离机制处理空间和角度信息间的交织以实现空间分辨率的提升，角度超分辨率和视差估计。实验结果表明，该方法在所有三个任务实现了最好的表现。

    Feb, 2022

  • 基于高维稠密残差卷积神经网络的光场重建

    利用基于张量恢复的学习框架进行高维光场重建和超分辨率，并通过多范围训练策略，提出一种新的归一化操作和阶段性损失函数来改善性能。在多个光场数据集中，该方法实现了优越的性能和更少的执行时间。

    Oct, 2019

  • LFSRDiff：基于扩散模型的光场图像超分辨率

    通过引入 LFSRDiff，首个基于扩散的光场图像超分模型，将 LF 解缠机制与扩散模型相结合，实现了在 LF 图像中更有效地提取和融合空间和角度信息，产生了多样且逼真的超分辨结果，尤其在感知度量方面表现出较高的水平。

    Nov, 2023

  • 细节保留变换器用于光场图像超分辨率

    该论文提出了一种基于 Transformers 的新型 LFSR 公式，将每个垂直或水平角度视图的子孔径图像视为序列，并通过空间 - 角度本地增强的自我注意力层在每个序列内建立长程几何依赖关系，该模型还提出了一种保留细节的转换器 DPT，并利用光场的梯度图引导序列学习。在多个光场数据集上进行评估，该方法表现优异，超越其他最先进的方案。

    Jan, 2022

  • 基于分波器混合透镜的高分辨率光场成像的无监督学习

    我们设计了一个基于光学分束器的混合光场成像原型，可以同时记录 4D 光场图像和高分辨率的 2D 图像，并生成混合光场数据集。然后，我们提出了一种基于无监督学习的超分辨率框架，利用混合光场数据集自适应地解决具有复杂退化模型的光场空间超分辨率问题。我们的方法在实验证明了与基于监督学习的最先进方法具有相同的优势。据我们所知，这是光场成像研究中第一种端到端无监督学习的空间超分辨率方法，其输入可以从我们的基于光学分束器的混合光场系统中获得。硬件和软件的结合有望在很大程度上促进光场超分辨率的应用。

    Feb, 2024