ECCVJul, 2022

DynaST：用于范例引导图像生成的动态稀疏转换器

PDF
TL;DR通过引入动态稀疏注意力机制的 Transformer 模型，本文提出了一种对样本指导图像生成进行 fine-level 匹配的方法，旨在提升匹配效果与计算效率。该方法在有监督和无监督场景下均可生成视觉上令人满意的图像，并在人物姿势生成、人脸细节合成和图像样式迁移等应用上表现出了显著的优越性。
exemplar-guided image generationdynamic sparse attentiontransformer modelreference-based image translationcomputational efficiency
发现论文，激发创造
  • 学习图像去雨变换网络 with 动态双自注意力

    该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

    Aug, 2023

  • 自适应点引导变形注意力网络用于本地特征一致匹配

    本文提出了一种自适应的、采用了诸多优点的区域引导 Transformer 网络 (ASTR) 来解决图像的局部特征匹配问题，同时考虑了局部一致性和尺度变化的因素，实验结果证明 ASTR 在五个标准基准数据集上的表现超越了现有最先进的方法。

    Mar, 2023

  • 场景自适应稀疏 Transformer 用于事件驱动的目标检测

    为了克服传统 Transformer 方法在事件相机物体检测任务中的高计算成本问题，本研究提出了一种适应场景的稀疏 Transformer 模型，通过优化计算效率和性能表现，实现了对重要物体的集中关注和动态稀疏程度的优化，从而在性能和效率上均超过密集网络和其他稀疏网络。

    Apr, 2024

  • 利用动态推理来开发 Transformer 激活稀疏性

    通过激活稀疏性和动态决定每个令牌的执行专家数量的方法，Dynamic Sparsified Transformer Inference（DSTI）能够显著降低 Transformer 模型的推理成本，而且对准确性几乎没有影响。

    Oct, 2023

  • 学习稀疏 Transformer 网络以有效降雨图像

    本论文提出了一种名为 Sparse Transformer (DRSformer) 的去雨神经网络，它可以自适应地保留最有用的自注意力值以更好地促进高质量图像重建，并发展了一种有效的混合尺度前馈网络来为图像去雨生成更好的特征。

    Mar, 2023

  • 动态空间稀疏化：用于高效视觉 Transformer 和卷积神经网络的优化

    本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。

    Jul, 2022

  • DSVT：具有旋转集的动态稀疏体素变换器

    本文介绍了动态稀疏体素变换器（DSVT），它是一个用于室外 3D 感知的单步幅基于体素的转换器骨干。为了有效处理稀疏点云，我们提出了动态稀疏窗口注意力，这将每个窗口中的一系列局部区域根据其稀疏性划分，并以完全并行的方式计算所有区域的特征。在本文中，我们的模型实现了具有广泛 3D 感知任务的最先进的性能，并且可以轻松通过 TensorRT 进行实时推理速度（27Hz）的部署。

    Jan, 2023

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022

  • DynamicViT：动态 Token 稀疏化的高效视觉 Transformers

    提出了一种动态的、基于输入的 Token 稀疏化框架，通过阈值删除多余的信息元素，并通过自注意力网络的特性，使其仍然具有硬件友好性。在保证精度的同时，相比现有 CNN 和 Transformer 模型，通过分层删减 66% 的输入元素，可以大大减少 FLOPs、提高吞吐量。

    Jun, 2021

  • 基于仿射变换的可变形注意力和选择性融合用于半密匹配

    本文提出了基于变换器的半密集匹配方法，引入了基于仿射的局部注意力和选择性融合来模拟跨视图变形，并强调了损失设计中的空间平滑性的重要性，通过这些增强方法，我们的网络在不同设置下表现出很强的匹配能力。

    May, 2024