Aug, 2023

EFormer：专注于肖像抠图前景语义轮廓特征的增强 Transformer

PDF
TL;DR我们提出了 EFormer 方法，用于增强模型对语义和轮廓特征的注意力，特别是后者，通过建立语义和轮廓探测器 (SCD) 来准确捕捉它们的分布，最终通过融合这两种特征生成预测的肖像 alpha matte。实验表明，EFormer 方法在肖像抠图任务中优于之前的方法。
portrait mattingself-attentioneformersemantic and contour detectortrimap-free method
发现论文，激发创造
  • MatchFormer: 用于特征匹配的变形金刚中的交错注意力

    本文提出了一种新的层次化提取和匹配变形器 MatchFormer 来提高局部特征匹配的效率和鲁棒性，该方法结合自注意力和跨注意力在多尺度特征的层次化架构上提高匹配鲁棒性，并在室内姿势评估、室外姿势评估、单应性评估和图像匹配检测四个基准测试中均取得 state-of-the-art 的结果。

    Mar, 2022

  • MatteFormer: 基于先验 Token 的 Transformer 图像抠图

    本文提出了一种基于 transformer 的图像抠图模型 MatteFormer，利用 trimap 信息；方法采用优先标记，并在每个块的自注意机制中使用全局先验，评估结果表明其可以在基准数据集上实现最领先的性能表现。

    Mar, 2022

  • MixFormer: 迭代混合注意力的端到端跟踪

    使用 transformers 建立了一种稳健的跟踪框架 MixFormer，采用混合注意力模块（MAM）实现了特征提取和目标信息的同步建模，同时在 LaSOT、TrackingNet、VOT2020、GOT-10k 和 UAV123 等五个基准测试数据集上取得了最新的最高成功率和 EAO 评分。

    Mar, 2022

  • ROIFormer：用于高效自监督单目深度估计的语义感知关注区 Transformer

    通过基于语义信息的几何启示本文提出了一种高效的本地自适应注意方法来增强几何意识的表示，使得其在 KITTI 数据集上建立了新的最前沿，证明了本方法在自监督单目深度估计任务上的有效性。

    Dec, 2022

  • ParaFormer: 并行注意力变换器用于高效特征匹配

    本论文提出了基于深度学习和两种新型概念 ——ParaFormer 和基于图形的 U-Net 结构，以实现卓越的性能和高效率，通过在各种应用（包括单应性估计、姿态估计和图像匹配）上进行多项实验证明 ParaFormer-U 变体在保证性能同时，计算量仅为现有基于注意力模型的 50%。

    Mar, 2023

  • FaceFormer：基于 Transformer 的语音驱动 3D 面部动画

    提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

    Dec, 2021

  • MixFormer：迭代混合注意力实现的端到端跟踪

    本文提出了一种基于 transformers 的简单有效的追踪框架 MixFormer，通过 Mixed Attention Module 实现了特征提取和目标信息集成的同步建模，设计了两种类型的 MixFormer 追踪器，使用不同的预训练方法，提出了减少计算成本的不对称注意机制和有效的得分预测模块，并在包括 LaSOT，TrackingNet，VOT2020，GOT-10k，OTB100 和 UAV123 等七个追踪基准中创造了最新的性能标准。

    Feb, 2023

  • 拉普拉斯变换器：克服视觉变压器在局部纹理检测中的局限

    Vision Transformer 模型中存在难以捕捉图像高频组件的局限性，本文提出了一种名为 Laplacian-Former 的技术来通过自适应重新校准 Laplacian 金字塔中的频率信息来增强自注意力图，并通过有效的增强多尺度桥梁将空间信息从编码器传递到解码器，从而在语义分割任务中实现有效的肿瘤和皮肤病变分割。

    Aug, 2023

  • AMatFormer：基于锚点匹配变换器的有效特征匹配

    本文提出了一种新的有效的锚匹配转换器（AMatFormer）用于特征匹配问题，以在一些锚点特征上进行自 / 交叉注意，进而学习所有基本特征的表示，并采用共享的 FFN 模块将两个图像的特征嵌入公共域中，以学习匹配问题的共识特征表示，在几项基准实验中证明了 AMatFormer 匹配方法的有效性和效率。

    May, 2023

  • TransMatting: 使用 Transformer 增强透明对象抠图

    这篇文章提出了一种基于 Transformer 的网络 ——TransMatting，能够模拟具有大感受野的透明对象。文章重新设计了 trimap，使用三个可学习的三元标记，以引入高级语义特征到自注意机制中。作者还使用一个小型卷积网络来利用全局特征和非背景掩模，指导从编码器到解码器的多尺度特征传播，以维护透明对象的纹理结构。此外，作者还创建了一个高分辨率的透明对象抠图数据集。实验表明，与当前最先进的方法相比，作者提出的方法具有显著的优越性。

    Aug, 2022