Jul, 2023

HEAL-SWIN: 球面上的视觉 Transformer

PDF
TL;DR本研究提出了一种结合 HEALPix 网格和 SWIN transformer 的模型，名为 HEAL-SWIN transformer，可以在高分辨率、无失真的球面数据上进行训练，用于语义分割和深度回归任务，且性能更优。
wide-angle fisheye imagesconvolutional neural networksheal-swin transformersemantic segmentationdepth regression
发现论文，激发创造
  • HEAL-ViT：用球形网格实现中程天气预报的视觉 Transformer

    HEAL-ViT 是一种新颖的架构，它在球面网格上使用 ViT 模型，从而同时享受基于图的模型的空间均匀性和变压器所利用的高效注意力机制，能够产生优于 ECMWF IFS 的天气预报结果。

    Feb, 2024

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • PanoSwin：全景风格的 Swin Transformer 用于全景理解

    本文提出了一种名为 PanoSwin 的简单而有效的架构，用于学习具有 ERP 的全景表示。通过探索全景式位移窗口方案和新颖的俯仰注意力分别解决边界不连续和空间失真的挑战，并利用绝对位置嵌入和相对位置偏差来增强全景几何信息。同时，通过设计一种新颖的两阶段学习框架，从平面图像向全景图像进行知识转移，实验结果表明 PanoSwin 在全景理解方面具有有效性。

    Aug, 2023

  • DarSwin: 扭曲感知径向 Swin Transformer

    本文提出了一种基于变压器的新型模型 DarSwin，可以自适应宽角镜头所产生的畸变，并对各种畸变进行了零样本适应。与其他基线相比，DarSwin 在中度和高度畸变水平下获得了最佳结果，并且在低度和非常低度的畸变水平下与现有技术相媲美。

    Apr, 2023

  • DIAR：基于 Swin Transformers 的深度图像对齐与重建

    利用深度学习管道，同时对一系列畸变图像进行对齐和重构，并通过 Swin Transformer 模型分析顺序图像数据，通过注意力图检测相关图像内容并与离群值和伪影区分开来，利用神经特征图作为经典关键点检测器的替代方法，从而提供稠密图像描述符以寻找图像间的点对应关系，并运用此来计算粗略的图像对齐并探索其局限性。

    Oct, 2023

  • 球形变压器：将球形信号适应于卷积神经网络

    本文提出基于 Spherical Transformer 的方法，将球面信号转换为能够被标准 CNNs 直接处理的向量，从而使许多经过精心设计的 CNNs 架构可以通过预训练在不同任务和数据集中重复使用，该方法在球形 MNIST 识别，3D 物体分类和全向图像语义分割任务上具有优异性能。

    Jan, 2021

  • 用于自动医学图像分割的高分辨率 Swin Transformer

    本研究提出了一种基于 Transformer 的医学图像分割网络 HRSTNet，其采用具有高分辨率的设计风格，用 Transformer 块代替卷积层，不断交换不同分辨率的特征图集来提高性能

    Jul, 2022

  • Swin-Unet: 纯 Transformer 风格的 Unet 模型用于医学图像分割

    该研究提出了 Swin-Unet，一种基于 Transformer 的 Unet 用于医学图像分割，它通过层次 Swin Transformer 与 SHIFT 窗口技术来提取上下文特征，使得该纯 Transformer 的编码解码网络在多器官和心脏分割任务方面表现超越传统的基于卷积和变换的方法。

    May, 2021

  • Swin UNETR: 基于 Swin Transformers 的 MRI 图像脑瘤语义分割

    利用 Swint UNEt TRansformers 模型和多模 MRI 数据对 3D 颅脑肿瘤进行语义分割，可以转换为序列预测问题，以 5 个不同分辨率提取特征，通过跳过连接连接到 FCNN 解码器，并在 BraTS 2021 分割挑战中表现出优越的性能。

    Jan, 2022

  • SwinIR：使用 Swin Transformer 进行图像恢复

    本研究提出了一种基于 Swin Transformer 的强基线模型 SwinIR，用于图像恢复，通过对三种典型任务进行实验（图像超分辨率、图像降噪和 JPEG 压缩），实验结果表明，SwinIR 在不同任务上的表现比最先进的方法提高了至多 0.14~0.45dB，同时可以将参数总数减少高达 67%。

    Aug, 2021