Sep, 2023

HAT：用于图像恢复的混合注意力变换器

PDF
TL;DRTransformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.
transformer-based methodshybrid attention transformerimage restoration taskschannel attentionwindow-based self-attention
发现论文，激发创造
  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 利用计算注意力预测人类注意力

    本研究提出了人类注意力变压器（HAT），它是一种单一模型，预测两种形式的注意力控制，并通过使用一种新颖的基于转换器的架构和一种简化的凹面视网膜，实现了类似于人类动态视觉工作记忆的时空意识，同时避免了离散化固定目光。HAT 在计算注意力方面设定了新方向，并在各种注意力需求场景中更好地预测人类行为，具有广泛的适用性。

    Mar, 2023

  • HMANet：基于混合多轴聚合网络的图像超分辨率

    本文提出了一种新颖的混合多轴聚合网络（HMA），通过叠加残差混合 Transformer 块（RHTB）和网格注意力块（GAB），在超分辨率视觉任务中充分利用特征潜力信息，并通过实验验证了该模型的有效性。

    May, 2024

  • 注意力可收缩变换器用于精确图像恢复

    本文提出了 Attention Retractable Transformer (ART) 用于图像修复任务，通过在网络中使用稠密和稀疏注意力模块，实现更广泛的接受域并提高了 Transformer 的表征能力。大量实验结果验证了该方法在各种基准数据集上的优越性。

    Oct, 2022

  • 高分辨率 GAN 的改进变压器

    本文介绍了将多维块自注意力与多层感知机结合的 Transformer 模型 HiT，该模型在高清图像生成领域的表现优于传统基于卷积的方法。

    Jun, 2021

  • 基于混合 Transformer 和卷积神经网络的立体图像超分辨率注意力网络

    提出了一种名为 HTCAN 的混合 Transformer 和 CNN 注意网络的方法，该方法使用基于 Transformer 的网络进行单幅图像增强和基于 CNN 的网络进行立体信息融合，最终在 NTIRE 2023 立体图像超分辨率挑战中获胜。

    May, 2023

  • 快速视觉 Transformer 模型：具有分层注意力机制

    本文介绍了一种新的卷积神经网络和可见 - 感知变换神经网络的混合模型 ——FasterViT，利用 HAT 方法分层降低全局自注意力的计算复杂度，提高图像处理的吞吐量和效率。FasterViT 在各种计算机视觉任务中得到了广泛的验证，并表现出比竞争对手更快，更准确的性能。

    Jun, 2023

  • HAT: 层次聚合变压器，用于人员再识别

    本论文提出了一种名为 “Hierarchical Aggregation Transformer” 的学习框架，将卷积神经网络和 Transformers 相结合，以实现图像人员 Re-ID，并在四个大规模 Re-ID 基准测试上获得了比几种最先进方法更好的结果。

    Jul, 2021

  • 硬件感知的 Transformer 模型用于高效自然语言处理

    通过神经架构搜索，设计了硬件感知的 Transformer 来保证在资源受限的硬件平台上具有低延迟推断的能力，从而在机器翻译任务中显著提高速度和模型效率。

    May, 2020

  • 使用变换器将两个流编码器统一，用于跨模态检索

    本研究通过使用两种 Transformer 编码器架构来统一图像和文本之间的差异，提出了一种基于层次对齐 Transformer 的跨模态检索框架，通过多层次的对齐方案，对图像和文本进行了更好的交互和对齐，实验证明该框架优于其他 SOTA 基线，并在两个基准数据集上实现了显著的提升。

    Aug, 2023