May, 2022

3D-C2FT：用于多视角三维重建的粗细 Transformer

PDF
TL;DR提出了一种新的模型，即 3D - 粗到细注意力变压器 (3D-C2FT)，通过引入一种新颖的粗到细 (C2F) 注意力机制来编码多视图特征和矫正有缺陷的 3D 对象，以粗到细的方式学习多视图信息流，并在 ShapeNet 和 Multi-view 实际数据集上取得了显著的结果，优于竞争模型。
发现论文，激发创造
  • C2FTrans: 用于医学图像分割的粗 - 细双向变换器

    本文提出了一种新颖的多尺度架构 C2FTrans，它将医学图像分割形式化为粗 - 细过程。其中包含了一个跨尺度全局 Transformer 和一个边界感知局部 Transformer，能够在保持精细的同时降低计算复杂度，并在三个公共数据集上展现了超过现有 CNN 和基于 Transformer 的方法的表现。

    Jun, 2022

  • 学习一种用于图像恢复的粗到细扩散变压器

    提出了一种粗糙到精细扩散变换器（C2F-DFT）用于图像恢复，它包含粗糙到精细的训练模式、扩散自注意力和扩散前馈网络，并在去噪、去模糊和真实降噪三个任务上显著优于 IR-SDE 等扩散模型，并与基于变压器的现有方法表现出竞争性能。

    Aug, 2023

  • 基于 Transformer 的多视角三维重建

    本文提出了一种名为 3D Volume Transformer（VolT）的新框架，将多视角 3D 重建转化成了序列到序列的预测问题，并使用 self-attention 来探索多个无序输入之间的视图关系。在大规模 3D 重建基准数据集 ShapeNet 上，我们的方法比其他基于 CNN 的方法使用更少的参数（减少了 70%），实现了新的多视角重建的最新精度。

    Mar, 2021

  • DiffTF++：大词汇量三维生成的三维感知扩散变换器

    通过引入一种基于扩散的前馈框架，以及使用改进的三面平面和 3D-aware 转换器、编码器 / 解码器来处理大规模的 3D 资源生成任务，该研究提出了一个更强的 3D 生成模型，以增强多样性、语义和质量。

    May, 2024

  • LegoFormer：面块级别多视角三维重构的变形器

    LegoFormer 是一种基于 transformer 模型的体素 3D 重建技术，通过使用自注意力层在所有计算阶段分享视角之间的信息，并将输出分解为低秩矩阵，从而实现对各个独立结构的预测和聚合，具有竞争性的性能和可解释性的优点，可用于现实数据的广义重建任务。

    Jun, 2021

  • 3D Former: 基于单目视觉的 3D SDF 变换器场景重建

    本文提出了一种基于 SDF 转换网络、稀疏窗口注意力模块和上下文注意力网络的三维变换器网络，用于更好地聚合三维特征，提高单目场景重建的精度和完整性。实验结果表明，该网络在多个数据集上优于现有方法，能够提高网格的准确性和完整性。

    Jan, 2023

  • DeCoTR: 用 2D 和 3D 注意力增强深度完成

    通过使用 2D 和 3D 注意力，提出了一种新颖的方法，实现了高精度的深度完成，无需迭代空间传播，该方法在深度完成模型中应用 2D 特征和 3D 点云处理，从而达到了与基于变压器的模型相当的性能，并通过正规化技术和全局注意力改进了学习和准确性。

    Mar, 2024

  • C2FDrone: 基于视觉 Transformer 网络的粗 - 精无人机间检测

    基于视觉转换器的粗细检测策略用于无人机检测，提升 F1 得分，并在边缘计算设备上实现实时处理能力。

    Apr, 2024

  • 语义分割的类别特征转换器

    利用类别特征转换器（CFT）来探索多阶段特征之间的类别嵌入和转换，通过常见的多头注意力机制学习统一的特征嵌入，并将其动态广播到高分辨率特征，将 CFT 集成到典型的特征金字塔结构中可以在多种骨干网络上展现卓越性能，经过在流行的语义分割基准数据集上的大规模实验，CFT 在具有挑战性的 ADE20K 数据集上获得了引人注目的 55.1％mIoU，同时大大减少了模型参数和计算量。

    Aug, 2023

  • 3D-RETR: 使用 Transformer 进行端到端的单 / 多视角三维重构

    本文提出了一种名为 3D-RETR 的方法，它可以使用 Transformer 执行端到端 3D 重建，实现从单个视角或多个视角的 3D 重建，并且在两个数据集上获得了最先进的性能表现。

    Oct, 2021