CVPRMay, 2023

基于混合 Transformer 和卷积神经网络的立体图像超分辨率注意力网络

PDF
TL;DR提出了一种名为 HTCAN 的混合 Transformer 和 CNN 注意网络的方法，该方法使用基于 Transformer 的网络进行单幅图像增强和基于 CNN 的网络进行立体信息融合，最终在 NTIRE 2023 立体图像超分辨率挑战中获胜。
发现论文，激发创造
  • SRTransGAN：基于 Transformer 的生成对抗网络的图像超分辨率

    提出了一种基于 Transformer 的生成对抗网络（SRTransGAN）来进行图像超分辨率，通过使用编码器 - 解码器网络生成 2x 图像和 4x 图像，使用视觉 Transformer 设计判别器网络来对合成和真实高分辨率图像进行二分类，通过分析显著性地图来了解所提方法的学习能力，SRTransGAN 方法在 PSNR 和 SSIM 评分的平均值上优于现有方法 4.38%。

    Dec, 2023

  • 基于 Transformer 的深度腹腔镜立体匹配

    本文提出了一种新的混合深度立体匹配框架（HybridStereoNet），使用 Transformer 实现特征表示学习，并结合 CNN 用于代价汇聚，旨在提高立体视觉匹配精度和泛化能力。实验结果表明，与其他选项相比，本文方法收敛更快，准确率更高，能够在 Sceneflow，SCARED2019 和 dVPN 数据集上实现卓越的性能。

    Jul, 2022

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 基于自注意力的自适应变形网络用于图像增强

    我们提出了一种新的基于降噪感知自注意的 Transformer 模型，将 CNN 和 Transformer 组件结合到超分辨网络中，实现了在盲超分辨率方面的最先进性能。

    Oct, 2023

  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • 图像融合变换器

    本研究提出一种新的基于 Transformer 的图像融合方法，采用多尺度融合策略同时关注局部和全局信息，使用卷积神经网络与 Transformer 分支捕捉局部和长程特征，经对比实验表明，该方法优于当下多种融合算法。

    Jul, 2021

  • 基于卷积和注意力网络的高光谱图像去噪

    提出了一种混合卷积和注意力网络（HCANet），通过同时建模全局和局部特征，利用卷积神经网络（CNN）和 Transformer 的优势，设计了卷积和注意力融合模块来捕捉长距离依赖和邻域光谱相关性，以及设计了多尺度前向网络来提取不同尺度的特征，从而提高多尺度信息聚合的性能，实验结果表明了 HCANet 模型的合理性和有效性。

    Mar, 2024

  • 单幅图像超分辨率的混合残差注意力网络

    通过采用二值化特征融合（BFF）结构，提出了基于残差组（RG）的多尺度特征提取模块和通道注意力机制的混合残差注意网络（HRAN），能够显著提高图像超分辨率的性能。

    Jul, 2019

  • FuseFormer: 用于视觉和热图像融合的 Transformer

    通过整合转换器模型的多尺度融合策略，本研究提出了一种新的图像融合方法，以克服使用评价指标作为损失函数所带来的局限性，并改善了整体方法的效果。

    Feb, 2024

  • DRCT：拯救图像超分辨率技术摆脱信息瓶颈

    通过在层间添加密集残差连接以减少空间信息的丢失，我们提出了 Dense-residual-connected Transformer (DRCT) 模型，提高了视觉变换和超分辨率任务的性能。

    Mar, 2024