May, 2023

SmartTrim：用于高效视觉语言模型的自适应令牌和参数剪枝

PDF
TL;DR提出了一种智能修剪方法 SmartTrim，通过在模型中集成轻量级修剪模块，对冗余输入和参数进行任务特定修剪，不需要额外的预训练或数据增强，利用跨模态交互信息提供更重要的语义指导，以达到资源受限场景下更好的效率 - 性能平衡。
transformer-basedpretrained vision-language modelssmarttrimcross-modal interactionefficiency-performance trade-off
发现论文，激发创造
  • EfficientVLM：通过知识蒸馏和模态自适应修剪实现快速和准确的视觉语言模型

    本篇研究介绍了一种对于大型视觉 - 语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的 EfficientVLM 模型仅含有 9300 万个参数，具有 98.4％的性能表现，并在各种视觉 - 语言任务中取得了令人瞩目的结果。

    Oct, 2022

  • Turbo: 信息驱动的加速插件用于视觉语言模型

    本文通过研究数据冗余性，设计并提出了一种基于信息度的 Turbo 模块，用于从视觉或文本数据中剪裁低效的令牌，以实现 Vision-Language Large Models 的加速，同时较少性能损失。

    Dec, 2023

  • 通过词汇修剪实现高效的多语言语言模型压缩

    本文提出了一种叫做词汇修剪的方法，可将多语言语言模型压缩至任何语言，得到与原始模型同样的性能，同时比原始模型更小。我们在七种语言中评估了该方法，并表明该方法可以将最佳的单语言模型性能与多语言模型的优越性结合起来。

    May, 2023

  • LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

    通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。

    Mar, 2024

  • PuMer：用于高效视觉语言模型的剪枝和合并机制

    PuMer 是一个使用文本感知修剪和模态感知合并策略的令牌减少框架，可通过在 VL 模型中添加轻量级令牌缩减器模块来改进模型推理速度和减少内存占用，从而提高了 VL 任务的推理吞吐量并减少了内存占用。

    May, 2023

  • 视觉 Transformer 瘦身：连续优化空间中的多维度搜索

    本文介绍了一种名为 ViT-Slim 的视觉转换器压缩框架，基于可学习和统一的 l1 稀疏性约束搜索多个维度的子结构，通过预算阈值得到压缩后的模型，试验结果表明，ViT-Slim 可以在保持较高图像分类准确率的同时，将参数和 FLOP 压缩至 40%。

    Jan, 2022

  • MADTP：多模态对齐引导的动态标记修剪加速视觉 - 语言转换器

    提出一种名为 MADTP 的新框架，通过多模态对齐和动态令牌修剪来加速各种视觉语言变换 (VLTs) 模型，显著减少计算复杂度同时保持竞争性能。

    Mar, 2024

  • MULTIFLOW：面向任务无关的视觉 - 语言剪枝的转变

    在本文中，我们提出了一种新的网络剪枝框架 Multimodal Flow Pruning (MULTIFLOW)，用于解决 Vision-Language 模型中高计算成本的问题，并将其应用于 Task-Agnostic Vision-Language Pruning (TA-VLP) 的场景，实验证明它在绝大多数情况下胜过其他剪枝算法，为解决 TA-VLP 问题提供了一个新的方向。

    Apr, 2024

  • 基于学习的阈值令牌合并和修剪用于视觉 Transformer

    这篇论文介绍了一种名为 LTMP 的学习阈值符号合并和修剪方法，它通过动态确定合并和修剪的符号，以降低计算视觉变换器所需的输入符号数量，实现了在降低速率的同时保持最先进的准确性，在仅一个微调阶段的情况下比先前的方法快一个数量级以上。

    Jul, 2023

  • TR-BERT：动态令牌减少以加速 BERT 推理

    本文提出一种动态适应层级的 Token 缩减方法 TR-BERT，该方法采用强化学习方法学习 Token 减少的选择策略以加速 BERT 模型在各种自然语言处理任务中的推理，并在实验中展示了 TR-BERT 在加速 BERT 模型的同时提高了其性能。

    May, 2021