Dec, 2023

R3D-SWIN：应用移位窗口注意力进行单视角三维重建

PDF
TL;DR最近，视觉变换器在各种计算机视觉任务中表现出色，包括体素三维重建。然而，视觉变换器的窗口不是多尺度的，并且窗口之间没有连接，这限制了体素三维重建的准确性。因此，我们提出了一种移位窗口注意力体素三维重建网络。据我们所知，这是第一个将移位窗口注意力应用于体素三维重建的工作。在 ShapeNet 上的实验结果验证了我们的方法在单视图重建方面达到了 SOTA 准确性。
发现论文，激发创造
  • 3D Former: 基于单目视觉的 3D SDF 变换器场景重建

    本文提出了一种基于 SDF 转换网络、稀疏窗口注意力模块和上下文注意力网络的三维变换器网络，用于更好地聚合三维特征，提高单目场景重建的精度和完整性。实验结果表明，该网络在多个数据集上优于现有方法，能够提高网格的准确性和完整性。

    Jan, 2023

  • Swin Transformer: 使用偏移窗口的分层视觉 Transformer

    本文提出了一种新的视觉 Transformer，称为 Swin Transformer，它在计算机视觉领域中作为通用骨干具有很强的能力，包括图像分类和目标检测。Swim Transformer 的层次设计和移位窗口方法对于所有多层感知器架构也证明是有益的，并且模型和代码是公开的。

    Mar, 2021

  • 超越固定关注窗口：动态窗口视觉变换器

    本文介绍了一种名为动态窗口视觉 Transformer (DW-ViT) 的新型方法，其采用动态多尺度窗口对模型性能的影响进行了探索，并通过对三个数据集的详细性能评估，与相关的最新技术方法相比，DW-ViT 表现出最佳性能。

    Mar, 2022

  • 具有循环移位窗口关注力的 Transformer 跟踪

    本文提出了一种新的 transformer 模型结构用于视觉目标跟踪，该模型引入了多尺度循环平移窗口机制使得跟踪注意力可以由像素级别提升到窗口级别，这种跨窗口的多尺度注意力有利于聚合不同尺度的注意力，同时采用的循环平移策略通过添加位置信息扩展窗口以提高跟踪准确度，并且减少了冗余计算，最后的实验表明这种方法取得了最先进的性能表现，并刷新了五个数据集的最佳记录。

    May, 2022

  • Shuffle Transformer：重新考虑视觉 Transformer 的空间混洗

    本研究提出了一种名为 Shuffle Transformer 的新型视觉 Transformer 架构，通过使用空间 Shuffle 策略构建窗口之间的连接，使其在分类、检测和分割等视觉任务中获得卓越表现。

    Jun, 2021

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • 双窗口训练高分辨率视觉 Transformer

    高效训练和推理高分辨率视觉 Transformer 模型的新策略是只保留 N 个随机窗口的高分辨率输入，通过学习窗口内的标记间的局部交互和窗口间的全局交互，模型能够直接处理高分辨率输入。这种策略在使用相对位置嵌入（如旋转嵌入）时表现出了显著的有效性，训练速度是全分辨率网络的 4 倍，而且与现有方法相比使用起来更加简单。将此策略应用于语义分割等密集视觉任务中，发现使用 2 个窗口的简单设置效果最佳，因此命名为 Win-Win 方法。将此策略进一步扩展到光流等双目任务中，达到了在 Spring 基准测试中超越最佳竞争对手一个数量级更快推理时间的最先进性能。

    Oct, 2023

  • 基于方向窗口注意力的医学图像分割

    DwinFormer 是一个层级编码器解码器架构，具有方向窗口（Dwin）注意力和全局自注意力（GSA）用于特征编码，通过在水平、垂直和深度方向分别执行注意力，在输入特征图的这些方向体积中有效地捕捉局部和全局信息，实验证明它在医学图像分割方面优于当前最先进的方法。

    Jun, 2024

  • 窗口化注意力在图像压缩中的应用

    本文提出了一种基于 Transformer 和注意力机制的对称变压器框架，其中融合了局部感知机制和全局相关特征学习，在图像压缩方面表现出更好的效果。

    Mar, 2022

  • Swin-Free：采用窗口大小变化实现更好的跨窗口关注和效率

    本研究旨在提高计算机视觉中 Transformer 模型的精度和效率，通过在 Swin Transformer 模型中引入可变大小的窗口来实现本地窗口之间的交叉连接，以提高模型准确性和速度。

    Jun, 2023