Feb, 2022

视觉 Transformer 中的标记合并学习

PDF
TL;DR本文介绍了一种减少 Transformers 计算代价的方法 —— 使用 PatchMerger 模块将网络处理的补丁或令牌数量缩减，从而在不影响性能的情况下实现了显著的加速。
transformersnatural language understandingcomputer visionpatchmergercomputational overhead reduction
发现论文，激发创造
  • PuMer：用于高效视觉语言模型的剪枝和合并机制

    PuMer 是一个使用文本感知修剪和模态感知合并策略的令牌减少框架，可通过在 VL 模型中添加轻量级令牌缩减器模块来改进模型推理速度和减少内存占用，从而提高了 VL 任务的推理吞吐量并减少了内存占用。

    May, 2023

  • 基于学习的阈值令牌合并和修剪用于视觉 Transformer

    这篇论文介绍了一种名为 LTMP 的学习阈值符号合并和修剪方法，它通过动态确定合并和修剪的符号，以降低计算视觉变换器所需的输入符号数量，实现了在降低速率的同时保持最先进的准确性，在仅一个微调阶段的情况下比先前的方法快一个数量级以上。

    Jul, 2023

  • 基于标记合并的转换器和状态空间模型的高效时间序列处理

    在时间序列分析中，我们首次探讨了令牌合并在时间序列变换器和状态空间模型中的应用，通过引入局部合并算法，我们能够在长序列上有效实现令牌合并，从而在多个模型和数据集上获得显著的计算效益而对准确性影响最小。

    May, 2024

  • vid-TLDR: 轻量级视频 Transformer 的无训练自由标记合并

    提出了轻量级视频 Transformer（vid-TLDR）的训练免费的令牌合并策略，通过合并背景令牌并通过关注图捕捉显著区域来提高视频 Transformer 的效率。实验证明，vid-TLDR 显着减轻了视频 Transformer 的计算复杂度，并且在与基准模型相比的性能上取得了有竞争力的结果。

    Mar, 2024

  • 混合分辨率令牌化的视觉 Transformer

    本文介绍了一种新的图像标记方案 —— 混合分辨率标记 —— 以及如何使用 Quadtree 算法和新的显著性评分器构建图像的代表通量，进而实现更好的图像分类。

    Apr, 2023

  • Segformer++: 高分辨率语义分割的高效令牌合并策略

    利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令牌合并策略，并在 Cityscapes 数据集上实现了 61% 的推理加速，同时保持了 mIoU 性能。因此，本文有助于在资源受限设备和实时应用中部署基于 Transformer 的架构。

    May, 2024

  • 词元融合：填补词元剪枝与词元合并之间的差距

    通过融合 Token Fusion 方法来提高 Vision Transformers 的计算效率和模型准确性，使其适用于资源受限的边缘设备，并在分类和图像生成任务中建立新的基准。

    Dec, 2023

  • 高效视觉 Transformer 的 Patch Slimming

    该论文通过挖掘网络中的冗余计算研究视觉变换器的效率问题，并提出了一种新颖的修剪方法来减少计算成本，该方法称为修剪补丁法，可以移除无用的补丁，从而显著降低模型的计算成本，而不会影响模型的性能。

    Jun, 2021

  • 补丁是你所需的全部？

    本文介绍 ConvMixer 模型，它使用标准卷积来混合图像块，并在类似参数计数和数据集大小的情况下胜过 ViT、MLP-Mixer 和一些变种，同时也优于经典的 ResNet 等视觉模型。

    Jan, 2022

  • 多尺度和令牌合并：让您的 ViT 更高效

    本文提出一种新的 token pruning 方法，通过筛选关键词实现计算效率和模型效果的折衷，实验结果表明，该方法可显著降低计算成本，同时仅导致 0.1% 的 DeiT-S 识别精度下降。

    Jun, 2023