基于曼巴的高效子空间扫描的光场超分辨率
近年来，随着现代神经网络的进步，光场图像超分辨率（LFSR）取得了显著的进展。然而，这些方法往往在捕捉长距离依赖关系（基于 CNN）或遇到二次计算复杂性（基于 Transformer）方面面临挑战，从而限制了它们的性能。最近，基于状态空间模型（SSM）和选择性扫描机制（S6）的 Mamba 已成为各种视觉任务中传统 CNN 和 Transformer 方法的卓越替代方案，得益于其有效的长距离序列建模能力和线性时间复杂性。因此，将 S6 集成到 LFSR 中变得具有吸引力，特别是考虑到 4D 光场的大量数据量。然而，主要挑战在于设计适用于 4D 光场的适当扫描方法，以有效地对光场特征进行建模。为了解决这个问题，我们对 4D LFs 的信息性 2D 切片使用了 SSMs，以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点，我们精心设计了一个基本的 SSM 块，其特点是一个有效的 SS2D 机制，可以在这些 2D 切片上实现更有效和高效的特征学习。基于上述两个设计，我们进一步介绍了一种基于 SSM 的 LFSR 网络，称为 LFMamba。LF 基准测试的实验结果证明了 LFMamba 的卓越性能。此外，我们还进行了广泛的消融研究，以验证我们提出的方法的功效和泛化能力。我们希望我们的 LFMamba 能够为光场的有效表示学习提供启示。
Jun, 2024
提出了一种用于处理大规模远程感知图像超分辨率的频率辅助 Mamba 框架，通过多级融合结构和可学习的缩放适配器实现了准确的特征融合，相比于现有方法具有更高的峰值信噪比和更低的内存消耗和计算复杂度。
May, 2024
通过引入卷积和 Transformer，本文提出了一种新颖的 Many-to-Many Transformer（M2MT）算法，以解决光场图像超分辨率问题中的低维空间隔离限制，实现了跨子孔径图像的全局优化，从而显著改善了性能。
Jan, 2024
通过借鉴最近的状态空间模型在长序列建模方面的潜力，我们引入了基于 SSM（状态空间模型）的架构 Mamba 到点云领域，并提出了 Mamba24/8D，它在线性复杂度下具有强大的全局建模能力。该架构在多个 3D 点云分割任务上取得了最先进的结果，并通过大量实验证实了其有效性。
Jun, 2024
利用基于张量恢复的学习框架进行高维光场重建和超分辨率，并通过多范围训练策略，提出一种新的归一化操作和阶段性损失函数来改善性能。在多个光场数据集中，该方法实现了优越的性能和更少的执行时间。
Oct, 2019
提出了一种名为 Bi-Mamba4TS 的双向 Mamba 模型，通过采用补丁技术丰富了局部信息并精细捕捉时间序列的演化模式，同时结合数据集特征选择更合适的建模方法，实验证明该模型在七个真实数据集上相较于现有方法获得了更准确的预测结果。
Apr, 2024
通过引入局部几何特征提取机制和双向状态空间模型（bi-SSM），Mamba3D 模型在点云学习中取得了超过 Transformer 的卓越性能、高效性和可扩展性，在多个任务中超越同类模型和并行研究，包括在 ScanObjectNN 任务中从头开始的 92.6% 综合准确性和在 ModelNet40 分类任务中基于单模态预训练达到 95.1% 的准确性，并且具有线性复杂度。
Apr, 2024
图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。
Apr, 2024
我们提出了一种名为 GMSR-Net 的轻量级模型，它通过全局接受域和线性计算复杂性特点，使用了多个堆叠的梯度 Mamba 块进行光谱重建，同时在空间和光谱提示上引入了新颖的梯度关注机制。与现有方法相比，GMSR-Net 大幅减少了参数和计算负担，同时实现了最新的性能。
May, 2024
基于轻量级模型开发的先前努力主要集中在 CNN 和 Transformer 基础设计上，但仍面临持久挑战。本研究受到 Mamba 等状态空间模型在语言建模和计算机视觉等多个任务中卓越表现和竞争力的启发，探索了视觉状态空间模型在轻量级模型设计中的潜力，并提出了一种新的高效模型变体 EfficientVMamba，通过有效的跳跃采样集成一种基于空洞的选择性扫描方法，构成旨在利用全局和局部表征特征的构件。此外，我们还调查了 SSM 模块与卷积之间的整合，并引入了一种高效的视觉状态空间块，结合了额外的卷积分支，进一步提高了模型的性能。实验结果表明，EfficientVMamba 降低了计算复杂性，同时在各种视觉任务中取得了有竞争力的结果。例如，我们的 EfficientVMamba-S 在 ImageNet 上对比 1.3G FLOPs 的 Vim-Ti 取得了大幅 5.6% 的准确率提升。代码可在以下链接找到: https://github.com/TerryPei/EfficientVMamba。
Mar, 2024