Stripformer:用于快速图像去模糊的条形变压器
本研究提出了一种名为 ViStripformer(视频 Stripformer)的 Transformer 架构,采用了时空带状注意力机制,降低了内存使用,并取得了出色的视频修复结果和快速推理时间。
Dec, 2023
探索运动信息在运动去模糊任务中的重要性,最近基于窗口的 Transformer 方法在图像去模糊中取得了不错的性能。然而,这些方法只是在笛卡尔坐标系中直接探索平移运动,而无法建模旋转部分,因此我们引入了基于极坐标的 Transformer 来解决这个问题,并提出了一个基于极坐标系统而非笛卡尔系统的 Radial Strip Transformer 架构,该架构通过动态径向嵌入模块来提取浅层特征,以及通过极向条纹注意力求解器来提取深度特征,实验结果表明我们的方法在图像去模糊任务中的性能优于其他最先进方法。
Mar, 2024
本文主要研究从模糊图像中恢复运动的挑战性问题,介绍了一种基于双端监督、时空对称融合策略和多尺度残差 Swin transformer 模块的模糊插值变换器(BiT)方法,提出了一个混合相机系统以收集第一个真实世界数据集,并在 Adobe240 数据集上展示其显著的优势和对真实模糊场景的泛化能力。
Nov, 2022
介绍了一种基于 Parallel Stripe Cross Attention (PCSA) 的多尺度策略的新型去雾网络,该网络能够高效地捕捉远距离依赖关系,并使用可变的卷积核尺寸和条形长度来处理不同大小和形状的模糊,同时在 PCSA 内部合并了基于 softmax 的自适应加权机制以优化特征的重要性。
May, 2024
本文提出了一种名为 Restoration Transformer 的有效 Transformers 模型,通过几个关键设计,使其能够捕捉长距离像素交互,同时仍适用于大图像,在图像去噪、去模糊和降雨方面达到了最先进的效果。
Nov, 2021
本文提出了一种名为 DeFormer 的新型双通道 Transformer 架构,通过参数化的可变形模型同时估计原语的全局和局部变形,以实现复杂对象形状的抽象化,在使用较少的原语的同时提供更广泛的几何覆盖范围和更精细的细节,并引入了力驱动的动态拟合和循环一致的投影损失来优化原语参数,在 ShapeNet 上的广泛实验表明,DeFormer 在重建准确性方面优于现有技术,并且通过一致的语义对应关系实现了可解释性的提升。
Sep, 2023
我们提出了一种紧凑的编码器 - 解码器 Transformer 模型 DeblurDiNAT,旨在高效地从现实世界的模糊图像中恢复清晰图像。通过采用交替的空洞因子结构和通道调制的自注意力块 (CMSA),以及快速特征传播的径路和乘法前馈网络 (DMFN),并使用轻量级的门控特征融合 (LGFF) 模块,我们在多个图像去模糊数据集上取得了最先进的性能。相比最近的竞争者,我们的方法在参数数量减少 3%-68%、可节省时间的同时,产生了更接近真实图像的去模糊结果。
Mar, 2024
本文提出了 DehazeFormer,一种用于图像去雾的改进模型,比传统模型具有更好的效果。模型在多个数据集上进行了实验,表明 DehazeFormer 比当前最先进的方法表现更好。此外,我们还采集了大规模实际遥感去雾数据集来评估该方法的能力。
Apr, 2022
提出了一种名为 BSSTNet 的模型,它通过引入模糊图,将初始的密集注意力转化为稀疏形式,从而更全面地利用整个视频序列中的信息。BSSTNet 在变换器中使用了更长的时间窗口,利用较远帧中的信息来修复当前帧中的模糊像素,同时引入了由模糊图引导的双向特征传播,降低了由模糊帧引起的错误累积。实验结果表明,提出的 BSSTNet 在 GoPro 和 DVD 数据集上优于现有的方法。
Jun, 2024
本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构,在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器,Uformer 具有高效捕获局部和全局图像依赖性的能力,可用于多种图像恢复任务,并在实验证明与最先进的算法相比具有卓越的性能。
Jun, 2021