Mar, 2024

观察再行动：高频注入变换器用于图像恢复

PDF
TL;DR我们提出了 HIT，一种简单而有效的高频注入变压器用于图像恢复，通过设计窗口注入模块（WIM），将丰富的高频细节融入特征图，为高质量图像恢复提供可靠的参考，并使用双向交互模块（BIM）以相互增强的方式汇总不同尺度的特征，从而改善空间上和背景上的表示。
transformer-based approachesimage restorationhigh-frequency injected transformerwindow-wise injection modulebidirectional interaction module
发现论文，激发创造
  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • 高分辨率 GAN 的改进变压器

    本文介绍了将多维块自注意力与多层感知机结合的 Transformer 模型 HiT，该模型在高清图像生成领域的表现优于传统基于卷积的方法。

    Jun, 2021

  • 探索轻量级分层视觉转换器用于高效视觉跟踪

    引入 HiT 模型和 Bridge Module 以及双图像位置编码技术，实现高速且性能优越的追踪模型。

    Aug, 2023

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 通过增强型 Transformer 和共注意力融合实现有效的图像篡改定位

    本文提出了一种基于增强型双分支变压器编码器和基于注意力的特征融合的有效图像篡改定位网络 (EITLNet)，通过特征增强模块增强变压器编码器的特征表示能力，并且通过坐标注意力融合模块在多个尺度上有效地融合从 RGB 和噪声流提取的特征。广泛的实验结果验证了该方案在各种基准数据集上达到了最先进的泛化能力和鲁棒性。代码将在此 URL 进行公开。

    Sep, 2023

  • 卷积神经网络注入变换器用于图像曝光校正

    本文提出了一种结合了 CNN 和 Transformer 的 CNN Injected Transformer (CIT) 方法，利用窗口型 Transformer 的长程依赖建模能力来处理曝光校正问题，并通过引入一组精心设计的损失函数来改善空间一致性和纠正潜在的颜色偏差。大量实验证明，该方法在定量和定性指标上优于现有技术。

    Sep, 2023

  • MAT: 大洞图像修复的掩模感知 Transformer

    本文提出了一种基于 transformer 的大孔修复模型，它结合了大尺寸的图像处理和 transformer 的优势，通过在注意力模块中定制面向修复的 transformer 块并使用动态掩码来聚合非局部信息，得到了在多个基准数据集上最先进的效果。

    Mar, 2022

  • HIT: 一种分层融合的深度注意力网络，用于鲁棒的混合语言表示

    本文提出了 HIT 作为一种针对码 - 混合文本的健壮的表示学习方法，该方法用层次化 transformer 框架来抓取词语间的语义关系，并使用融合注意机制来层次性地学习句子级别的语义。实验结果表明，HIT 在 11 个数据集上的 4 个 NLP 任务中显著提高了性能，并且在迁移学习环境中显示了学到的表示的适应性。

    May, 2021

  • 特征调制变换器：通过高频先验交叉精炼全局表示用于图像超分辨率

    我们研究了基于 transformer 的单图像超分辨率方法，并发现 transformer 结构在捕捉低频信息方面更加擅长，但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构的优势，在多个数据集上实验结果表明，CRAFT 方法在参数更少的情况下比当前最先进的方法提高了 0.29dB。

    Aug, 2023

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021