在超分辨率领域中，本文介绍了一种新的方法，通过将 Transformers 的优势引入 CNNs，实现了既具备计算效率又具备增强性能的 Partial Large Kernel CNNs。

Apr, 2024

通过引入 Convolutional Transformer 层（ConvFormer）和基于 ConvFormer 的超分辨率网络（CFSR），提出了一种有效且高效的轻量级图像超分辨率任务解决方案，通过使用大卷积核卷积作为特征混合器替代自注意模块，实现了较长范围依赖关系和广泛接受域的建模，同时在计算成本稍微增加的情况下保留了更多高频信息，并且相对于现有的轻量级 SR 方法在计算成本和性能之间取得了先进的平衡。

Jan, 2024

本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

Jul, 2022

文章提出了一种名为 iFormer 的基于 Inception 的 Transformer 架构，通过一种名为 Inception mixer 的操作使得网络能够更好地捕捉高频信息和低频信息，加入了渐进降低高频分量和增加低频分量的结构，并在图像分类等任务上取得了非常优秀的表现。

May, 2022

提出了多尺度感受野、大内核注意力模块 (LCAN)，用于改进轻量级图像超分辨率任务，并提高重建性能。

May, 2024

Vision Transformer 模型中存在难以捕捉图像高频组件的局限性，本文提出了一种名为 Laplacian-Former 的技术来通过自适应重新校准 Laplacian 金字塔中的频率信息来增强自注意力图，并通过有效的增强多尺度桥梁将空间信息从编码器传递到解码器，从而在语义分割任务中实现有效的肿瘤和皮肤病变分割。

Aug, 2023

单幅图像超分辨率（SISR）的关键词包括：单幅图像超分辨率、基于 Transformer 的方法、lambda 抽象、热像。本文提出了一种基于 lambda 抽象的热像超分辨率新型轻量级架构（LATIS），通过局部和全局特征块（LGFB）分别捕获局部和全局信息，使用全局特征提取（GFE）模块进行全局特征提取，通过不同 iable patch-wise histogram-based loss function 进一步提高性能。实验结果表明，我们提出的 LATIS 在多个数据集上以最少的模型参数和复杂度实现了与其他最先进方法相媲美或更好的性能。

Nov, 2023

用于遥感图像超分辨率 (RSISR) 的新型 Transformer 网络 SPIFFNet，通过引入跨空间像素整合和跨阶段特征融合注意力机制，有效提高了全局认知和特征表达能力，从而在定量度量和视觉质量上优于现有方法。

Jul, 2023

本文提出了一种新型的 Transformer 架构 DualFormer 用于视频识别，此架构可以有效地处理空间 - 时间关注，能够捕捉短距离和长距离的时空依赖关系，并通过本地 - 全局层次划分策略显著减少注意力计算中的关键值个数，从而提高效率并在五个视频基准测试上验证了 DualFormer 的优越性能。

Dec, 2021

本论文研究了在极端卷积核上训练和验证了能够光滑扩展卷积核的方法，提出了一种基于此方法的纯卷积神经网络结构 SLaK，可以在图像分类和各种下游任务中实现与分层变压器和现代 ConvNet 结构相当甚至更好的性能表现。

Jul, 2022