Jun, 2024
LFMamba: 具有状态空间模型的光场图像超分辨率
LFMamba: Light Field Image Super-Resolution with State Space Model
Wang xia, Yao Lu, Shunzhou Wang, Ziqi Wang, Peiqi Xia...
TL;DR近年来，随着现代神经网络的进步，光场图像超分辨率（LFSR）取得了显著的进展。然而，这些方法往往在捕捉长距离依赖关系（基于 CNN）或遇到二次计算复杂性（基于 Transformer）方面面临挑战，从而限制了它们的性能。最近，基于状态空间模型（SSM）和选择性扫描机制（S6）的 Mamba 已成为各种视觉任务中传统 CNN 和 Transformer 方法的卓越替代方案，得益于其有效的长距离序列建模能力和线性时间复杂性。因此，将 S6 集成到 LFSR 中变得具有吸引力，特别是考虑到 4D 光场的大量数据量。然而，主要挑战在于设计适用于 4D 光场的适当扫描方法，以有效地对光场特征进行建模。为了解决这个问题，我们对 4D LFs 的信息性 2D 切片使用了 SSMs，以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点，我们精心设计了一个基本的 SSM 块，其特点是一个有效的 SS2D 机制，可以在这些 2D 切片上实现更有效和高效的特征学习。基于上述两个设计，我们进一步介绍了一种基于 SSM 的 LFSR 网络，称为 LFMamba。LF 基准测试的实验结果证明了 LFMamba 的卓越性能。此外，我们还进行了广泛的消融研究，以验证我们提出的方法的功效和泛化能力。我们希望我们的 LFMamba 能够为光场的有效表示学习提供启示。