Apr, 2024

SC-HVPPNet: 基于 CNN 和 Transformer 的空间和通道混合注意力视频后处理网络

PDF
TL;DR本研究探讨了卷积神经网络 (CNN) 和 Transformer 在视频后处理中的相互作用，并提出了一种新颖的空间和通道混合注意力视频后处理网络 (SC-HVPPNet)，它可以协同地利用空间和通道域中的图像先验知识。大量实验证明，SC-HVPPNet 显著提升了视频修复质量，在 VTM-11.0-NNVC RA 配置中 Y、U 和 V 三个分量的平均比特率节省分别达到 5.29%、12.42% 和 13.09%。
convolutional neural networktransformervideo post-processingspatial and channel hybrid-attention video post-processing networkvideo restoration quality
发现论文，激发创造
  • 基于 Transformer 的高时序维度解码的视频显著性预测

    基于变压器的高时间维度解码网络（THTD-Net）是一种用于视频显著性预测的策略，通过对时态特征进行聚合，从而在常见基准测试中展现出与多分支和过于复杂模型相当的性能。

    Jan, 2024

  • IPT-V2: 高效的图像处理转换器使用层次注意力

    近期的研究表明，基于 Transformer 架构的方法在图像恢复方面具有强大的能力。然而，我们的分析表明，现有的基于 Transformer 的方法无法同时建立精确的全局依赖关系和局部依赖关系，而这对于恢复退化图像的细节和缺失内容非常关键。为此，我们提出了一种具有分层注意力的高效图像处理 Transformer 架构，称为 IPTV2，采用了一种聚焦上下文自注意力（FCSA）和全局网格自注意力（GGSA），以在局部和全局感受野中获取充分的令牌交互。具体而言，FCSA 将移位窗口机制应用于通道自注意力中，有助于捕捉局部上下文和通道间的相互作用。GGSA 在跨窗格中构建长距离的依赖关系，在空间维度中聚合全局信息。此外，我们引入结构重新参数化技术来改进前馈网络的模型能力。大量实验证明，我们提出的 IPT-V2 在各种图像处理任务上取得了最先进的结果，包括去噪、去模糊、去雨等，并且在性能和计算复杂度的权衡方面获得了很大的改进。此外，我们将我们的方法扩展到图像生成作为潜在扩散的支撑，显著优于 DiTs。

    Mar, 2024

  • SCA-CNN：用于图像字幕的卷积网络中的空间和通道注意力

    本文介绍了一种新的卷积神经网络 SCA-CNN，其中引入了空间和通道注意力，用于图像描述任务，结果表明 SCA-CNN 明显优于现有的基于视觉关注的图像描述方法。

    Nov, 2016

  • 视频拼接定位的时空共注意融合网络

    提出了一种用于视频拼接定位的时空注意力融合网络（SCFNet），通过多帧捕捉操纵痕迹、并行和交叉注意力融合模块实现时空法证特征的深度交互和融合，通过轻量级多层感知机（MLP）解码器产生像素级篡改定位图，在基准数据集上的广泛测试表明，SCFNet 的定位和泛化性能优于现有技术。

    Sep, 2023

  • 网络结构之战：CNN、Transformer 和 MLP 的实证研究

    本文比较了卷积神经网络、Transformer、multi-layer perceptron 等算法的优劣，并在 SPACH 框架下进行了实验，结果显示，使用卷积和 Transformer 模块的混合模型已经能够实现与其他模型相同的准确率。

    Aug, 2021

  • CB-HVTNet：一种增强通道的混合视觉 Transformer 网络，用于组织病理学图像中淋巴细胞评估

    CB HVT 是一种具有先进性能的医学图像诊断工具，利用了 transformers 和 CNN，采用通道增强方式来进行 AI 辅助病理检测和分析，能够有效识别组织图像中的淋巴细胞等相关信息。

    May, 2023

  • VPTR 视频预测的高效 Transformer

    本文提出了一个基于局部时空分离的有效空间 - 时间注意机制的 Transformer 块，用于视频未来帧预测，并构建了一个全自回归视频未来帧预测 Transformer 框架，另外还提出了一个非自回归视频预测 Transformer 框架，并引入对比特征损失来监督模型预测过程。本文是第一个在不同场景下对这两种基于注意力的视频未来帧预测模型进行正式比较的工作，所提出的模型在性能上与更复杂的现有模型竞争力相当。

    Mar, 2022

  • 基于卷积和注意力网络的高光谱图像去噪

    提出了一种混合卷积和注意力网络（HCANet），通过同时建模全局和局部特征，利用卷积神经网络（CNN）和 Transformer 的优势，设计了卷积和注意力融合模块来捕捉长距离依赖和邻域光谱相关性，以及设计了多尺度前向网络来提取不同尺度的特征，从而提高多尺度信息聚合的性能，实验结果表明了 HCANet 模型的合理性和有效性。

    Mar, 2024

  • 基于混合 Transformer 和卷积神经网络的立体图像超分辨率注意力网络

    提出了一种名为 HTCAN 的混合 Transformer 和 CNN 注意网络的方法，该方法使用基于 Transformer 的网络进行单幅图像增强和基于 CNN 的网络进行立体信息融合，最终在 NTIRE 2023 立体图像超分辨率挑战中获胜。

    May, 2023

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022