Apr, 2022

DRT：轻量级单图像去雨递归 Transformer

PDF
TL;DR该研究介绍了基于递归本地窗口自注意力结构的残差连接的递归变压器 (DRT) 的使用，该模型在低级计算机视觉任务的执行过程中需要少量的计算资源，而不需要有意地针对降雨设计；实验证明，它也可用于其他图像恢复任务，且可以达到有竞争力的结果。
over parameterizationtransformer-based deep learning modelsrecursive local window-based self-attention structurederaining a recursive transformerimage restoration tasks
发现论文，激发创造
  • 学习稀疏 Transformer 网络以有效降雨图像

    本论文提出了一种名为 Sparse Transformer (DRSformer) 的去雨神经网络，它可以自适应地保留最有用的自注意力值以更好地促进高质量图像重建，并发展了一种有效的混合尺度前馈网络来为图像去雨生成更好的特征。

    Mar, 2023

  • DRCT：拯救图像超分辨率技术摆脱信息瓶颈

    通过在层间添加密集残差连接以减少空间信息的丢失，我们提出了 Dense-residual-connected Transformer (DRCT) 模型，提高了视觉变换和超分辨率任务的性能。

    Mar, 2024

  • Gabor 引导的变换器用于单图像去雨

    通过引入 Gabor 滤波器，利用 Gabor 引导转换器（Gabformer）来增强局部纹理特征的聚焦，改善模型对噪声的鲁棒性，并在基准测试中表现优于最先进的方法。

    Mar, 2024

  • DRD-Net: 细节恢复图像去雨算法 —— 基于上下文聚合网络

    本文提出了一种细节恢复图像去雨网络，该网络包括由挤压激发操作与残差块组合的雨雾残余网络、结构细节上下文聚合块（SDCAB）和细节修复网络，并通过定量和定性比较表明，我们的方法在去雨稳健性和细节准确性方面优于现有的图像去雨方法。

    Aug, 2019

  • 单幅图像去雨的鲁棒特征学习与反馈

    提出了一种新的降雨去除方法，通过替换低质量特征的潜在高质量特征和引入闭环反馈精神解决模型误差和特征嵌入问题，实验结果表明该方法在基准数据集和真实数据集上优于现有的最新方法。

    Jan, 2021

  • 切片递归变压器

    通过共享变换网络的深度上的权重，我们提出了一个简洁而有效的视觉变换器的递归操作，可以改善参数利用率，无需涉及额外的参数。

    Nov, 2021

  • 图像恢复的增强 - multi-attention 方法

    我们提出了 Diverse Restormer（DART），一种新颖的图像修复方法，通过有效地整合来自各种来源（长序列、局部和全局区域、特征维度和位置维度）的信息，解决了修复挑战。我们的方法利用了 Transformer 模型在图像修复方面的卓越性能以及注意力机制方面的最新进展，采用定制化的注意力机制增强了整体性能。DART 是我们的新型网络架构，利用窗口化注意力机制模拟了人眼的选择性聚焦机制。通过动态调整接受域，它能够最佳地捕捉对图像分辨率重建至关重要的基本特征。通过引入长序列图像修复的 LongIR 注意力机制，实现了效率和性能的平衡。在特征和位置维度上整合注意力机制能够进一步提高对精细细节的恢复。在五个修复任务上的评估稳定地将 DART 置于领先地位。一旦被接受，我们将致力于提供公开可访问的代码和模型，以确保可复现性并促进进一步的研究。

    Apr, 2024

  • 探索 Difficult Images 对检测变换器（DETR）的鲁棒性和特性

    基于 Transformer 的目标检测器 (DETR) 在机器视觉任务中表现出显著性能，但其在处理遮挡和对抗扰动等不同图像干扰方面存在问题。我们通过多种实验和将 DETR 与基于卷积神经网络 (CNN) 的检测器（如 YOLO 和 Faster-RCNN）进行基准测试来研究这个问题。我们发现 DETR 在处理遮挡图像的信息丢失干扰方面表现良好。然而，在涂有对抗标记的图像上，网络需要产生一组新的不必要的键、查询和值，导致网络方向错误。与图像损坏基准测试中 YOLOv5 相比，DETR 的性能也较差。此外，我们发现 DETR 在进行预测时严重依赖于主要查询，导致查询之间的贡献不平衡，因为主要查询接收大部分梯度流。

    Oct, 2023

  • DDT: 双分支变形 Transformer 图像去噪

    本文提出了一种高效的 Dual-branch Deformable Transformer (DT) 去噪网络，在局部和全局分支中均应用了可变形关注机制，能够更好地捕捉图像中的局部和全局交互，并能显著减少计算成本，取得了在真实世界和合成去噪任务方面的最先进性能。

    Apr, 2023

  • 在线更新的高阶协作网络用于单图像去雨

    本文提出了一种高阶协同网络，其中包括多尺度紧凑约束和双向尺度内容相似度挖掘模块，有助于实现去雨滴效果的提高，并通过自我监督学习方法来提高模型性能。

    Feb, 2022