Sep, 2023

聚类器：作为通用视觉学习器的聚类方法

PDF
TL;DRCLUSTERFORMER 是一种基于 CLUSTERING 范例和 TransFORMER 的通用视觉模型，通过递归更新聚类中心和基于相似度的指标来实现图像分类、目标检测和图像分割等多样化视觉任务的性能提升，并说明其在各项指标上优于其他专门化架构，为计算机视觉中的通用模型带来了范式转变。
clusterformervision modelclustering paradigmrecurrent cross-attentionfeature dispatching
发现论文，激发创造
  • QClusformer：基于量子变压器的无监督视觉聚类框架

    利用量子计算机的先进性能，在非监督视觉聚类任务中设计了一种基于 Transformer 架构的 QClusformer 框架，并通过实证评估证明其在 MS-Celeb-1M 和 DeepFashion 等数据集上相较于其他方法表现更出色。

    May, 2024

  • Uformer: 一种通用的 U 形变形器 用于图像修复

    本文介绍了 Uformer - 一种基于 Transformer 的高效图像恢复架构，在其中构建了使用 Transformer 块的分层编码器 - 解码器网络。使用局部增强窗口 (LeWin) Transformer 块和多尺度恢复调制器，Uformer 具有高效捕获局部和全局图像依赖性的能力，可用于多种图像恢复任务，并在实验证明与最先进的算法相比具有卓越的性能。

    Jun, 2021

  • Pointformer 进行的 3D 物体检测

    本文提出了一种 3D 点云特征学习模型 Pointformer，其中使用局部和全局 Transformer 模块对点云数据进行建模，结合了多尺度特征，以及使用坐标调整模块改善物体提议生成，成功地应用于室内和室外场景下目标检测任务，并取得了显著的性能提升。

    Dec, 2020

  • Laneformer: 面向车道检测的对象感知行列变换器

    Laneformer 是一种基于 transformer 的架构，用于自动驾驶视觉感知中长期车道检测，通过自注意力机制实现车道形状和语义特征的有效捕获，实验表明能达到 CULane 基准的最佳表现。

    Mar, 2022

  • 半监督视觉 Transformer

    本文研究了视觉 Transformer 在半监督图像分类中的训练方法，通过引入一个联合半监督学习框架 Semiformer，实现了有标记数据与无标记数据的知识共享，从而取得了 ImageNet 数据集上 75.5% 的 top-1 准确率，成为同类方法中最具优势的方法之一。

    Nov, 2021

  • CenterFormer：基于中心点的 Transformer 用于 3D 物体检测

    本文提出了一种基于中心点的变换网络 ——CenterFormer，它使用查询嵌入来聚合中心候选点的特征向量，并设计了一种通过交叉注意力来融合多帧特征的方法。在 Waymo Open 数据集上，CenterFormer 在单个模型上实现了先进水平，取得了 73.7% 的验证集和 75.6% 的测试集 mAPH, 显著优于以前所有已发表的基于 CNN 和 transformer 的方法。

    Sep, 2022

  • Cluster-Former: 基于聚类的稀疏变形器，用于长距离依赖编码

    本研究提出了一种基于聚类的稀疏 Transformer 模型，它由滑动窗口层和 Cluster-Former 层组成，能够跨越窗口编码本地序列信息和全局上下文信息，这种新的设计在回答具有长程依赖性的问题时尤其有益，实验结果表明其在多项 QA 基准测试中实现了最先进的性能。

    Sep, 2020

  • UniFormer：用于高效时空表示学习的统一 Transformer

    本研究提出了一种新型的视频分类模型 ——UniFormer，它集成了 3D 卷积和自注意力机制的优点，通过浅层和深层分别学习本地和全局特征，从而在计算量和准确性之间取得了理想的平衡，经实验证明该模型的泛化和针对性能均优于其他方法。

    Jan, 2022

  • CLUSTSEG: 通用分割的聚类

    CLUSTSEG 是一个基于 transformer 的通用框架，通过统一的神经聚类方案解决不同的图像分割任务，并通过两个创新方面实现。像 EM 聚类一样，这些创新使 CLUSTSEG 成为一个透明而强大的框架，在上述分割任务中产生优越的结果。

    May, 2023

  • ParaFormer: 并行注意力变换器用于高效特征匹配

    本论文提出了基于深度学习和两种新型概念 ——ParaFormer 和基于图形的 U-Net 结构，以实现卓越的性能和高效率，通过在各种应用（包括单应性估计、姿态估计和图像匹配）上进行多项实验证明 ParaFormer-U 变体在保证性能同时，计算量仅为现有基于注意力模型的 50%。

    Mar, 2023