该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

Aug, 2023

我们提出了一种新的基于降噪感知自注意的 Transformer 模型，将 CNN 和 Transformer 组件结合到超分辨网络中，实现了在盲超分辨率方面的最先进性能。

Oct, 2023

通过引入 Gabor 滤波器，利用 Gabor 引导转换器（Gabformer）来增强局部纹理特征的聚焦，改善模型对噪声的鲁棒性，并在基准测试中表现优于最先进的方法。

Mar, 2024

本文介绍了一种名为 QDS-Transformer 的算法，它在 Transformer 自注意力机制的基础上，设计了稀疏的查询导向注意力机制，以在文档排序任务中实现本地化背景、分层表示和查询定向的邻近匹配，同时还具有稀疏性和计算效率。实验证明，QDS-Transformer 模型在全监督和少样本 TREC 排名基准中具有稳定和强大的优势。

Oct, 2020

该研究介绍了基于递归本地窗口自注意力结构的残差连接的递归变压器 (DRT) 的使用，该模型在低级计算机视觉任务的执行过程中需要少量的计算资源，而不需要有意地针对降雨设计；实验证明，它也可用于其他图像恢复任务，且可以达到有竞争力的结果。

Apr, 2022

本文提出了 Attention Retractable Transformer (ART) 用于图像修复任务，通过在网络中使用稠密和稀疏注意力模块，实现更广泛的接受域并提高了 Transformer 的表征能力。大量实验结果验证了该方法在各种基准数据集上的优越性。

Oct, 2022

该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

Mar, 2022

提出了一种基于不确定性驱动排序的稀疏采样变换器，称为 UDR-S2Former，用于学习和建模全局图像退化关系，从而实现复杂雨天场景的统一去雨。与先前方法相比，UDR-S2Former 具有三个优点：可自适应地采样相关图像退化信息以建模底层退化关系；明确应用基于不确定性驱动的排序策略有助于网络关注退化特征并理解重建过程；实验结果表明，UDR-S2Former 在所有基准测试中明显优于现有方法。

Aug, 2023

DETR-like 模型相比传统卷积模型有很大的提升效果，然而现有的编码器结构中所有的令牌都被平等对待，不加区分地处理给传统的编码器结构带来了冗余计算负担，因此提出了 Focus-DETR 来得到更好的计算效率和模型准确性的权衡，通过使用双重注意力的编码器对更具信息量的令牌进行关注，并通过得分来增强细粒度对象查询的语义交互。

Jul, 2023

SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

Nov, 2023