IJCAIJul, 2023

带有空间共变性的引导式分组小波变换器用于超高分辨率分割

PDF
TL;DR本文提出了一种基于 Guided Patch-Grouping Wavelet Transformer 的 Transformer-CNN 相互学习框架，其中通过将原始 UHR 图像划分为补丁并在动态分组中对其进行轻量级多头小波变换器（WFormer）网络的学习来学习低级别本地细节，同时也可以捕获这个过程中的细粒度长距离上下文依赖，并利用 CNN 生成的掩码来指导贴图分组过程，提供一种启发式决策；同时利用两个分支之间的一致性约束来维护图像块之间的空间一致性，实验结果表明该方法在五个基准数据集上展现出较好的性能。
ultra-high resolution segmentationguided patch-grouping wavelet transformertransformer-cnn mutual leaning frameworkmulti-head wavelet transformer networkcongruence constraints
发现论文，激发创造
  • 基于小波的高频增强在 Transformers 中解锁细粒度细节

    本文介绍一种针对医学图像的局部特征缺失问题的方法，通过重新设计自注意力映射，利用小波变换对输入特征图进行分解，使用高频和低频子带表示粗粒度和细粒度特征，重构自注意力操作并加入高频部分的高斯金字塔，引入多尺度上下文增强块，实现医学图像的准确分割，并经过广泛实验证明了该方法的有效性。

    Aug, 2023

  • HGFormer: 面向领域通用的分层分组变压器用于语义分割

    本研究使用视觉 Transformer 的自注意视觉分组属性，提出了一种新型分层分组变压器（HGFormer），在不同尺度上找到部聚合模块并组合像素以形成对象级别的语义分割结果，比以像素分组的方法和以平坦分组变压器的方法具有显著更强的网络鲁棒性。

    May, 2023

  • HiFormer: 使用 Transformer 实现的分层多尺度表示，用于医学图像分割

    本文提出了一种新的方法 HiFormer，它通过使用 Swin Transformer 模块和基于 CNN 的编码器设计了两种多尺度特征表示来有效地跨越 CNN 和 Transformer 进行医学图像分割。在编码器解码器结构的跳跃连接中，我们提出了 Double-Level Fusion（DLF）模块，以确保从两个上述表示中获得的全局和局部特征的细粒度融合。在各种医学图像分割数据集上的广泛实验表明，HiFormer 在计算复杂度、定量和定性结果方面优于其他基于 CNN、Transformer 和混合方法。

    Jul, 2022

  • UWFormer：一种基于半监督多尺度 Transformer 的水下图像增强方法

    该研究通过使用多尺度转换网络和半监督学习，提出了一种用于增强多频率图像的方法，通过非线性频率感知注意机制和多尺度融合前馈网络进行低频增强。此外，还引入了一种专门的水下半监督训练策略，提出了一个水下感知损失函数以生成可靠的伪标签，实验证明该方法在数量和视觉质量方面优于现有的水下图像增强方法。

    Oct, 2023

  • D-Former: 一种用于 3D 医学图像分割的 U 形扩张 Transformer

    本文提出了一种称为 Dilated Transformer 的方法，该方法在全球和局部范围内交替捕捉成对的补丁关系进行自我关注。我们基于 Dilated Transformer 的设计构建了一种名为 D-Former 的 U 型编码器 - 解码器分层结构，用于 3D 医学图像分割。实验表明，我们的 D-Former 模型在低计算成本下，从头开始训练，优于各种有竞争力的基于 CNN 或 Transformer 的分割模型。

    Jan, 2022

  • 具有超丰富背景的超高分辨率分割：一项新的基准测试

    介绍一种包含高分辨率图像，丰富场景上下文和细致注释的大规模数据集 URUR，以及一个更高效和有效的含有离散小波变换和小波平滑损失的 UHR 语义分割框架 WSDNet。

    May, 2023

  • 分割引导稀疏变换器用于底层显示摄像头图像修复

    在本文中，我们观察到在使用 Vision Transformer 进行 UDC 受损图像恢复时，全局注意机制会采样大量冗余信息和噪音。基于此发现，我们提出了一种基于分割引导的稀疏 Transformer 方法（SGSFormer），用于从 UDC 受损图像中恢复高质量图像。具体而言，我们利用稀疏自注意力过滤冗余信息和噪音，引导模型的注意力集中在需要重建的受损区域上。此外，我们还集成了实例分割图作为先验信息，以指导稀疏自注意力在过滤和关注正确区域方面的工作。

    Mar, 2024

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 视频去模糊的流引导稀疏变压器

    本文提出了一种新的视频去模糊框架，Flow-Guided Sparse Transformer（FGST），基于自注意力模块，使用光学流矫正模糊，并采用重复嵌入机制加强长时间依赖关系，结果表明 FGST 在 DVD 和 GOPRO 数据集上明显优于现有方法。

    Jan, 2022

  • PatchGT: 在不可训练聚类之上的 Transformer 模型用于学习图形表征

    该论文提出了一种新的基于 Transformer 的图神经网络 Patch Graph Transformer，它学习非可训练图形补丁，而不是直接从节点中学习，并使用谱聚类在无需可训练参数的情况下将图形分割为图形补丁，从而获得更高的表现力和可解释性。

    Nov, 2022