CVPRJun, 2024

ALGM：适应性局部 - 全局令牌合并用于基于纯视觉变换的高效语义分割

PDF
TL;DR本研究介绍了一种自适应的局部 - 全局合并（ALGM）方法，用于在使用普通视觉变换器的语义分割网络中进行令牌减少。ALGM 在两个阶段中合并令牌：（1）在第一个网络层中，它通过一个小的局部窗口合并相似的令牌，（2）在网络的一半处，它合并整个图像中相似的令牌。通过对多个数据集和网络配置进行广泛实验，我们展示了 ALGM 不仅可以将吞吐量显著提高最多 100％，还可以将平均 IoU 提高最多 + 1.1，从而在分割质量和效率之间取得更好的折衷。此外，我们的方法在推断过程中是自适应的，这意味着同一模型可以根据应用程序的需要以最佳效率或准确性进行使用。代码可在此 https URL 找到。
adaptive local-then-global mergingtoken reductionsemantic segmentation networksvision transformersthroughput
发现论文，激发创造
  • Segformer++: 高分辨率语义分割的高效令牌合并策略

    利用 Transformer 架构进行高分辨率图像的语义分割受到注意力计算复杂性的阻碍。本文通过令牌合并来减少令牌数量，这在图像分类任务的推理速度、训练效率和内存利用方面取得了显著改进。我们在多个语义分割和人体姿势估计数据集上探索了不同的令牌合并策略，并在 Cityscapes 数据集上实现了 61% 的推理加速，同时保持了 mIoU 性能。因此，本文有助于在资源受限设备和实时应用中部署基于 Transformer 的架构。

    May, 2024

  • LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

    通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。

    Mar, 2024

  • 从标记稀疏化视角提高视觉 Transformer 的效率

    本文介绍了一种基于语义标记的 ViT 模型，可以用于图像分类以及物体检测和实例分割等任务，并通过对空间中的池化图像标记进行 attention 的方法，来取代大量的图像标记，从而实现了网络的降维升效。

    Mar, 2023

  • 基于学习的阈值令牌合并和修剪用于视觉 Transformer

    这篇论文介绍了一种名为 LTMP 的学习阈值符号合并和修剪方法，它通过动态确定合并和修剪的符号，以降低计算视觉变换器所需的输入符号数量，实现了在降低速率的同时保持最先进的准确性，在仅一个微调阶段的情况下比先前的方法快一个数量级以上。

    Jul, 2023

  • 视觉 Transformer 中的标记合并学习

    本文介绍了一种减少 Transformers 计算代价的方法 —— 使用 PatchMerger 模块将网络处理的补丁或令牌数量缩减，从而在不影响性能的情况下实现了显著的加速。

    Feb, 2022

  • L2G: 一个简单的局部到全局的知识迁移框架，用于弱监督语义分割

    本文提出了以 L2G 为核心的方法，通过本地分类网络从输入图像中随机获取多个局部路径进行注意提取，然后利用全局网络在线学习多个局部注意映射之间的互补关系，从全局视角学习对象的详细知识，从而产生高质量的注意地图，并将其直接用作语义分割网络的伪注释。

    Apr, 2022

  • 基于标记合并的转换器和状态空间模型的高效时间序列处理

    在时间序列分析中，我们首次探讨了令牌合并在时间序列变换器和状态空间模型中的应用，通过引入局部合并算法，我们能够在长序列上有效实现令牌合并，从而在多个模型和数据集上获得显著的计算效益而对准确性影响最小。

    May, 2024

  • 利用 Swin Transformer 进行局部到全局弱监督语义分割

    近年来，计算机视觉领域中的弱监督语义分割使用基于图像级标签的监督引起了广泛关注。本研究探索了使用 Swin Transformer 的 'SWTformer' 来提高初始种子 CAMs 的准确性，通过结合局部和全局视角。

    Jan, 2024

  • 面向多模态语言模型中的标记化语义等价性

    提出了一种新颖的动态语义等价视觉标记器（SeTok）来解决现有视觉标记器的问题，该标记器通过动态聚类算法将视觉特征分组为语义单元，灵活确定标记数目。由此产生的视觉标记能够有效地保持语义完整性，并捕捉低频和高频视觉特征。所提出的具备 SeTok 的多模态大型语言模型（Setokim）在各种任务中显着展现了卓越的性能，如我们的实验结果所证明。

    Jun, 2024

  • 不是所有令牌都相等：通过令牌聚类变换器进行人类中心的视觉分析

    本文介绍了一种名为 token clustering transformer 的新型视觉 transformer 模型，它可以有效处理不同区域的特征提取问题，在多种人体相关任务上表现出了不俗的性能。

    Apr, 2022