MB-TaylorFormer：基于 Taylor 公式扩展的多分支高效 Transformer 用于图像去雾

Aug, 2023

MB-TaylorFormer：基于 Taylor 公式扩展的多分支高效 Transformer 用于图像去雾

MB-TaylorFormer: Multi-branch Efficient Transformer Expanded by Taylor Formula for Image Dehazing

Yuwei Qiu, Kaihao Zhang, Chenxi Wang, Wenhan Luo, Hongdong Li...

TL;DR近年来，Transformer 网络开始取代纯卷积神经网络在计算机视觉领域的应用，但是其二次计算复杂度的 softmax-attention 限制了高分辨率图像去雾任务的广泛应用。因此，我们提出了一种新的 Transformer 变体，应用泰勒展开逼近 softmax-attention，实现了线性计算复杂度，并引入了多尺度注意力细化模块和多分支架构以及多尺度补丁嵌入方法进一步改进 Transformer 的性能。我们的模型名为 MB-TaylorFormer，在补丁嵌入阶段可以更灵活地嵌入粗糙到细粒度的特征，并以有限的计算成本捕捉远距离像素之间的相互作用。实验证明，MB-TaylorFormer 在多个去雾基准上取得了最先进的性能，并具有轻量级的计算负担。源代码和预训练模型可在此 https URL 获得。

Abstract

In recent years, transformer networks are beginning to replace pure convolutional neural networks (CNNs) in the field of computer vision due to their global receptive field and adaptability to input. However, the quadratic computational complexity of →

transformer networks softmax-attention image dehazing taylor expansion multi-scale patch embedding

发现论文，激发创造

Mansformer：用于图像去模糊及其它任务的高效混合注意力转换器

我们提出了 Mansformer，它是一种结合了多种自注意力、门控和多层感知的混合加权 Transformer，通过对张量形状和维度进行精心调整，将典型的二次复杂度自注意力分解成四次线性复杂度操作，并利用类似 Squeeze-and-Excitation Networks 的架构实现了这些不同类型自注意力的自适应融合，通过提出的门控 - dconv MLP 将两阶段的 Transformer 设计合并为一阶段，主要用于图像去模糊，经过广泛的定量和定性评估，表明该方法在远远超过简单去模糊的最先进方法方面表现出色，源代码和训练模型将提供给公众。

Apr, 2024

T-former：一种高效的图像修复变形器

本文中，我们设计了一种新的基于注意力的线性结构，称为 T-former，用于图像修复，实验表明该方法在保持较低的参数数量和计算复杂度的同时，实现了最先进的精度。

May, 2023

DHFormer：基于视觉 Transformer 的图像去雾注意力模块

提出了一种使用残差学习和视觉转换器的注意模块的方法，首先估计残差图像，然后通过卷积层和全局上下文转换器编码器获取通道注意力，最后生成无雾图像。实验结果证明了该方法的高效性和可扩展性。

Dec, 2023

具有可变形注意力的视觉 Transformer

本文介绍了一种新颖的变形注意力模块，提出了 Deformable Attention Transformer，通过变形注意力实现了基于图像分类和密集预测任务的骨干模型，并在广泛的基准测试中取得了显著的改进。

Jan, 2022

多分支注意力 Transformer

本研究提出了一种名为多分支注意力 Transformer（MAT）的变体，通过平均多个分支的注意力层，并使用两种训练技术 —— 随机丢弃分支和相似初始化，对机器翻译、代码生成和自然语言理解等任务进行了实验，并取得了显著改善。

Jun, 2020

多尺度双通道变换器用于高质量图像去雨

本研究提出了一种有效的雨水去除方法，即双路径多尺度转换器（DPMformer），通过利用丰富的多尺度信息来实现高质量图像重建。实验证明，与其他最先进的方法相比，我们的方法表现出色。

May, 2024

变形金刚中的变形金刚

本文提出了一种新的 Transformer 结构，即 Transformer iN Transformer（TNT），旨在提高图像处理中变换器的性能，通过在局部感知机制内利用可忽略计算成本的注意力机制以进一步将图像局部细化，从而在 ImageNet 基准测试中实现了 81.5% 的 Top-1 准确率，较相似计算成本的最先进的可视变换器高出 1.7%。

Feb, 2021

用于精确生物医学图像分割的多化合物转换器

本研究提出了一种统一的变形器网络，称为多化合物变形器（MCTrans），可嵌入 UNet-like 网络中，并在生物医学图像分割中显着提高了最先进方法的性能。它使用自我关注和交叉注意力进行多尺度卷积特征的序列嵌入，引入了可学习的代理嵌入来模拟语义关系和特征增强。

Jun, 2021

单幅图像去雾的 U 型视觉猛蛇

提出了一种名为 UVM-Net 的高效单图像去雾网络，结合了 Transformer 和 State Space Sequence Models (SSMs) 的能力，能够更有效地建模长距离依赖关系，并在图像去雾和其他图像恢复任务中取得了良好的效果。

Feb, 2024

使用 Transformer 进行高分辨率图像分割的自适应修补

使用自适应网格细化方法 (Adapative Mesh Refinement, AMR) 可以作为图像细分的预处理步骤，基于图像细节自适应地划分图像补丁，从而减少传给模型的补丁数量。该方法与任何基于注意力的模型无缝地配合使用，能够在实际病理数据集上展示出优于现有技术的分割质量，并在分辨率高达 64K²，最多 2048 个 GPU 的情况下获得 6.9 倍的几何平均加速。

Apr, 2024