Dec, 2023

Turbo: 信息驱动的加速插件用于视觉语言模型

PDF
TL;DR本文通过研究数据冗余性，设计并提出了一种基于信息度的 Turbo 模块，用于从视觉或文本数据中剪裁低效的令牌，以实现 Vision-Language Large Models 的加速，同时较少性能损失。
vision-language large modelsexpensive computation costsdata redundancyturbo moduleacceleration
发现论文，激发创造
  • SmartTrim：用于高效视觉语言模型的自适应令牌和参数剪枝

    提出了一种智能修剪方法 SmartTrim，通过在模型中集成轻量级修剪模块，对冗余输入和参数进行任务特定修剪，不需要额外的预训练或数据增强，利用跨模态交互信息提供更重要的语义指导，以达到资源受限场景下更好的效率 - 性能平衡。

    May, 2023

  • EfficientVLM：通过知识蒸馏和模态自适应修剪实现快速和准确的视觉语言模型

    本篇研究介绍了一种对于大型视觉 - 语言模型进行压缩的方法，该方法利用蒸馏和剪枝技术，通过知识蒸馏和模态自适应剪枝等手段来获取一个更快、更小但更准确的模型。最终得到的 EfficientVLM 模型仅含有 9300 万个参数，具有 98.4％的性能表现，并在各种视觉 - 语言任务中取得了令人瞩目的结果。

    Oct, 2022

  • 图像在第二层之后价值为 1/2 令牌：大型视觉语言模型的即插即用推理加速

    通过学习自适应注意力模式和精简视觉标记，FastV 可显著降低计算成本并在各种图像和视频理解任务中保持优秀性能，有助于在边缘设备和商业模型中部署大规模视觉 - 语言模型。

    Mar, 2024

  • 通过跨模态跳跃连接实现有效和高效的视觉 - 语言学习的 mPLUG

    mPLUG 是一个新的视觉语言基础模型，通过新颖的跨模态 skip-connections 有效缓解了现有预训练模型由于跨模态对齐中长的视觉序列带来的信息不对称和低计算效率等问题，通过对大规模图像 - 文本对的端到端预训练，具有良好的视觉和语言能力，并在图像字幕生成、图像 - 文本检索、视觉定位和视觉问答等一系列视觉语言场景下实现了最先进的结果，并且具有很强的零样本学习能力。

    May, 2022

  • MADTP：多模态对齐引导的动态标记修剪加速视觉 - 语言转换器

    提出一种名为 MADTP 的新框架，通过多模态对齐和动态令牌修剪来加速各种视觉语言变换 (VLTs) 模型，显著减少计算复杂度同时保持竞争性能。

    Mar, 2024

  • ViTamin：设计可扩展的视觉模型在视觉语言时代

    该论文介绍了一种基于对比性语言 - 图像预训练框架的视觉模型评估协议，其中引入了一种新的视觉模型 ViTamin，该模型在零样本任务和模型规模扩展等方面表现出色。

    Apr, 2024

  • 构建视觉 - 语言模型时的要点

    基于大语言模型和视觉变换的视觉语言模型（VLMs）的增长兴趣，我们观察到在 VLMs 设计中往往存在未经支持的决策，这使得很难确定哪些选择能够提高模型性能，为了解决这个问题，我们进行了大量关于预训练模型、架构选择、数据和训练方法的实验，基于这些实验结果，我们开发了一个 8 亿参数的高效基础 VLM 模型

    May, 2024

  • VoCo-LLaMA：面向大型语言模型的视觉压缩

    基于 Vision-Language Models 的 VoCo-LLaMA 方法通过引入 Vision Compression tokens 和利用 attention distillation，实现了视觉压缩并提高推理效率，能够理解时间相关性，在多模态应用中具有广泛的潜力。

    Jun, 2024

  • 从冗余到相关性：增强多模态大型语言模型的可解释性

    通过分析信息流的动态流动，我们发现信息流似乎在浅层中汇聚，进一步的研究揭示了浅层中图像令牌的冗余，因此引入了一个截断策略来聚合这些浅层内的图像令牌，该方法通过多个模型上的实验证实，并获得了一致的改进。

    Jun, 2024

  • Infor-Coef: 基于信息瓶颈的动态 Token 下采样方法，用于紧凑高效的语言模型

    本文提出了 Infor-Coef 模型使得在 NLP 领域中，使用动态降采样和静态剪枝的方法，通过信息瓶颈损失进行优化，实现了 18 倍的计算速度提升，精度下降不到 8％，为压缩和加速基于 Transformer 的模型提供了一种有前途的方法。

    May, 2023