Nov, 2023

GMTR: 图匹配变换器

PDF
TL;DR通过引入跨注意力模块和基于关键点的中心裁剪策略进行空间信息提取，QueryTrans 和 GMTR 分别提出了一种用于视觉匹配的新方法，其中 GMTR 在标准 GM 基准测试上表现竞争力强，而 QueryTrans 提高了 NGMv2 和 BBGM 的准确率。
vision transformersquerytransgmtrspatial informationgraph matching
发现论文，激发创造
  • GvT: 一种利用稀疏性进行训练的基于图的视觉 Transformer 模型，使用自由发挥，从头开始在小数据集上训练

    使用基于图卷积投影和图池化的图神经网络（GvT），并通过基于双线性池化特征和注意张量的稀疏选择的讲话头技术解决注意头降维问题，以及应用图池化来有效降低标记数量和聚合语义信息，实验结果表明 GvT 在小数据集上超越了卷积神经网络和预训练的视觉 Transformer 模型。

    Apr, 2024

  • TransMatcher：一种利用 Transformer 实现深度图像匹配的通用人员重识别方法

    本文认为转换器由于缺乏图像之间的关注而不适用于图像匹配，因此提出了一种简化的解码器，称为 TransMatcher，它在一些流行的数据集中实现了最先进的表现以进行泛化人员再识别。

    May, 2021

  • TransVG：基于 Transformer 的端到端视觉定位

    本文提出了一种基于 Transformer 的视觉定位框架 TransVG，通过建立多模态对应关系，实现使用简单 Transformer 编码器层替代复杂的融合模块，在五个广泛使用的数据集上取得了一系列最先进的记录并构建了基于 Transformer 的视觉定位框架基准。

    Apr, 2021

  • 基于群组混合注意力的视觉 Transformer 的进展

    基于 Group-Mix Attention 的 GroupMixFormer 模型在图像分类、物体检测和语义分割方面表现出色，参数较现有模型更少，例如 GroupMixFormer-L 在 ImageNet-1K 上取得 86.2% 的 Top-1 准确率，GroupMixFormer-B 在 ADE20K 上取得 51.2% 的 mIoU。

    Nov, 2023

  • 视频问题回答的视频图变换器

    该研究论文提出了一种名为 VGT 的视频图形转换器模型，旨在解决视频问答任务中动态关系推理方面的挑战，其独特性在于利用动态图形变换器模块对视频进行编码，并利用分离的视频和文本变换器来执行问答任务。通过充分的分析和启发性的观察，证明了 VGT 的有效性和优越性，并揭示了其可用于更数据有效的预训练。

    Jul, 2022

  • 图关系变换器：将成对物体特征纳入 Transformer 架构中

    我们提出了一种名为 GRT 的图形关系 Transformer 方法，它使用边缘信息来计算转换器中图形关注操作，它在视觉问答任务中取得了很好的效果。

    Nov, 2021

  • 全局上下文视觉 Transformer

    本文介绍了一种新的计算机视觉模型 GC ViT，核心是全局上下文自注意力模块，结合标准本地自注意力来有效地建模长程和短程空间交互关系，解决了 ViTs 的归纳偏差问题，在图像分类、对象检测和语义分割等任务中实现了新的最高性能表现。

    Jun, 2022

  • GiT: 用于车辆再识别的图形交互变压器

    本文提出一种名为 GiT 的图与变压器相互作用的模型，用于处理车辆重新识别问题，提取局部可辨别的特征和全局的鲁棒特征，该方法在三个大规模车辆重新识别数据集上的实验证明其优于现有方法。

    Jul, 2021

  • 关键图变换器用于图像修复

    该论文介绍了一种名为 Key-Graph Transformer（KGT）的方法，它有效地在高分辨率输入中集成全局信息，提供了计算效率以及在 6 个图像恢复任务中的先进性能。

    Feb, 2024

  • 基于异质注意力模式的视觉 Transformer 加速

    基于观察到的异构注意力模式，在 Vision Transformers 中提出了一种综合压缩方法，通过动态引导的静态自注意力和全局聚合金字塔，加速了运行时间吞吐量，超过了所有 SOTA 方法。

    Oct, 2023