LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

Mar, 2024

LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

LLaVA-PruMerge: Adaptive Token Reduction for Efficient Large Multimodal Models

Yuzhang Shang, Mu Cai, Bingxin Xu, Yong Jae Lee, Yan Yan

TL;DR通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。

Abstract

large multimodal models (LMMs) have shown significant reasoning capabilities by connecting a visual encoder and a large language model. LMMs typically use a fixed amount of visual tokens, such as the penultimate

large multimodal models visual tokens token reduction mechanism prumerge model performance

发现论文，激发创造

PuMer：用于高效视觉语言模型的剪枝和合并机制

PuMer 是一个使用文本感知修剪和模态感知合并策略的令牌减少框架，可通过在 VL 模型中添加轻量级令牌缩减器模块来改进模型推理速度和减少内存占用，从而提高了 VL 任务的推理吞吐量并减少了内存占用。

May, 2023

LLaVolta: 通过分阶段视觉上下文压缩实现高效多模态模型

通过对视觉标记和训练效率的分析研究，提出了一种名为 Visual Context Compressor 的方法，通过压缩视觉标记来提高多模式模型的训练效率，最终实现在图像语言理解和视频语言理解领域性能的提升和训练成本的降低。

Jun, 2024

基于学习的阈值令牌合并和修剪用于视觉 Transformer

这篇论文介绍了一种名为 LTMP 的学习阈值符号合并和修剪方法，它通过动态确定合并和修剪的符号，以降低计算视觉变换器所需的输入符号数量，实现了在降低速率的同时保持最先进的准确性，在仅一个微调阶段的情况下比先前的方法快一个数量级以上。

Jul, 2023

母子嵌套多模型

M3: Matryoshka Multimodal Models propose nested visual tokens to control visual granularity, offering flexibility in trading off information density v.s. efficiency, and revealing a large gap between fixed-scale representations and the oracle upper bound.

May, 2024

eP-ALM: 语言模型的高效感知增强

本文提出了一种高效适应单模预训练模型解决多模任务的方法 eP-ALM，在冻结大多数参数、仅训练一个线性投影层，前置仅一个可训练标记的情况下，显著优于基线，并在图像、视频和音频模态下跨越 VQA 和字幕的多个基准测试中取得了最佳性能。

Mar, 2023

为多模态 LLM 自动编码 Morph-Tokens

多模式 LLMs 的新方法利用形态标记解决了视觉理解和生成之间的冲突，并在多模式理解和生成中取得了 SOTA 结果。

May, 2024

SmartTrim：用于高效视觉语言模型的自适应令牌和参数剪枝

提出了一种智能修剪方法 SmartTrim，通过在模型中集成轻量级修剪模块，对冗余输入和参数进行任务特定修剪，不需要额外的预训练或数据增强，利用跨模态交互信息提供更重要的语义指导，以达到资源受限场景下更好的效率 - 性能平衡。

May, 2023

ConvLLaVA：大型多模型视觉编码器的分层主干

通过使用 ConvNeXt 作为 LMM 的视觉编码器，ConvLLaVA 将高分辨率图像压缩为信息丰富的视觉特征，以避免生成过多的视觉令牌，并通过两个关键的优化进一步增强了 ConvLLaVA 的能力。

May, 2024

大型语言模型的良好视觉分词器的特点是什么？

通过实证研究，我们讨论了将主流的预训练方法应用于视觉编码器以构建良好的视觉分词器，以使大型语言模型（LLM）成为强大的多模态大语言模型（MLLM）。我们发现，GVT 在不引入额外的参数和任务特定的微调的情况下，展现出了在多个尺度上的强大视觉理解能力，特别是在视觉问答、图像字幕、对象计数和多类别识别等细粒度视觉理解任务上具有优异的性能。

May, 2023

动态离散视觉标记的统一语言 - 视觉预训练

最近，大型语言模型的显著进展激发了研究人员将其非凡的推理能力转移到多个模态的数据上。本文通过在统一的表示中同时表达视觉和语言，突破了仅以视觉内容作为提示并专注于优化文本生成过程的限制。通过一个将非语言图像转换为 LLM 可以阅读的一系列离散标记的视觉分词器，LaVIT (Language-VIsion Transformer) 可以在统一的生成学习范式下无差别地处理图像和文本。在网上规模图像 - 文本语料库上预训练的 LaVIT 具有令人印象深刻的多模态理解能力。广泛的实验表明，它在下游任务上的性能超过现有模型很多。我们的代码和模型将在此 https URL 上提供。

Sep, 2023