超越子空间隔离:用于轻场图像超分辨率的多对多变形器
该论文提出了一种基于 Transformers 的新型 LFSR 公式,将每个垂直或水平角度视图的子孔径图像视为序列,并通过空间 - 角度本地增强的自我注意力层在每个序列内建立长程几何依赖关系,该模型还提出了一种保留细节的转换器 DPT,并利用光场的梯度图引导序列学习。在多个光场数据集上进行评估,该方法表现优异,超越其他最先进的方案。
Jan, 2022
本文基于选择性状态空间模型 Mamba,提出了一种基于 Mamba 的光场超分辨率方法 MLFSR,通过设计高效的子空间扫描策略来实现对高分辨率 4D 光场的全图像处理,显著提升了性能。
Jun, 2024
本文提出了一种通过分析光场图像超分辨率嵌入的几何关系并引入虚拟狭缝图像(VSI)的新 LF 子空间来提高效率的方法,并且使用超采样和 EPIXformer 几何感知译码器对低分辨率 LF 数据进行超分辨率重建,实验结果表明该方法在各种差异处理方面优于其他现有方法。
May, 2023
利用基于张量恢复的学习框架进行高维光场重建和超分辨率,并通过多范围训练策略,提出一种新的归一化操作和阶段性损失函数来改善性能。在多个光场数据集中,该方法实现了优越的性能和更少的执行时间。
Oct, 2019
近年来,随着现代神经网络的进步,光场图像超分辨率(LFSR)取得了显著的进展。然而,这些方法往往在捕捉长距离依赖关系(基于 CNN)或遇到二次计算复杂性(基于 Transformer)方面面临挑战,从而限制了它们的性能。最近,基于状态空间模型(SSM)和选择性扫描机制(S6)的 Mamba 已成为各种视觉任务中传统 CNN 和 Transformer 方法的卓越替代方案,得益于其有效的长距离序列建模能力和线性时间复杂性。因此,将 S6 集成到 LFSR 中变得具有吸引力,特别是考虑到 4D 光场的大量数据量。然而,主要挑战在于设计适用于 4D 光场的适当扫描方法,以有效地对光场特征进行建模。为了解决这个问题,我们对 4D LFs 的信息性 2D 切片使用了 SSMs,以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点,我们精心设计了一个基本的 SSM 块,其特点是一个有效的 SS2D 机制,可以在这些 2D 切片上实现更有效和高效的特征学习。基于上述两个设计,我们进一步介绍了一种基于 SSM 的 LFSR 网络,称为 LFMamba。LF 基准测试的实验结果证明了 LFMamba 的卓越性能。此外,我们还进行了广泛的消融研究,以验证我们提出的方法的功效和泛化能力。我们希望我们的 LFMamba 能够为光场的有效表示学习提供启示。
Jun, 2024
光场成像具有捕捉角度和空间光分布的能力,通过模块化方法进行分辨率增强,以每个光场视角独立增强分辨率的纹理变换网络,并利用光场的规则性来同时提高所有光场图像视角的分辨率,相比现有方法在定性和定量评估方面表现出更好的性能。
May, 2024
本文提出一种名为 LF-InterNet 的空间角度交互网络用于光场图像超分辨率,通过特征交互逐渐融合空间和角度信息。我们的方法在低计算成本下,能够以高 PSNR 和 SSIM 评分还原重构图像的细节,明显优于现有的超分辨率方法。
Dec, 2019
本文提出一种基于学习的轻场景图像空间超分辨率框架,在每个轻场景图像视角学习探索不同的信息,并通过正则化网络结构来确保场景的正确视差关系,实验结果表明该方法不仅提高了平均峰值信噪比超过 1.0 dB,而且以更低的计算成本保持了更准确的视差细节。
Apr, 2020
本研究提出了一种新颖的混合变压器模块(MTM),用于同时学习内部和外部联系,通过使用 MTM 构建的混合变压器 U-Net(MT-UNet)来进行精确的医学图像分割,实验结果显示,该方法实现了比其他最新技术方法更好的性能。
Nov, 2021
本文利用新颖的端到端学习法解决通过混合镜头(高分辨率相机周围有多个低分辨率相机)重建高分辨率光场图像的问题,通过深度多维和跨域特征表征回归一个具有空间一致性的中间估计,同时构建另一个维护高频纹理的中间估计,在通过学习的注意图整合两个中间估计的优势,最终重建高分辨率的光场图像。实验证明本研究方法相较于现有技术在提高峰值信噪比两个单位的同时保留了光场结构,并且是首个使用端到端深度学习方法解决混合输入高分辨率光场图像问题。
Jul, 2019