Sep, 2024

适应与修剪：快速且无需训练的多模态大型语言模型视觉标记修剪

HTML
PDF
TL;DR本研究解决了多模态大型语言模型（MLLMs）中视觉标记冗余及计算负担过重的问题。提出的FitPrune方法通过统计分析快速生成修剪方案，从而在保持高性能的同时显著减少计算复杂度。实验结果表明，该方法在不显著损失准确度的情况下，能够减少多达54.9%的计算量。
发现论文，激发创造
  • 大规模语言模型的结构剪枝——LLM-Pruner

    提出一种名为LLM-Pruner的方法，在保持多任务求解和语言生成能力的同时，通过结构修剪来压缩LLM，使得压缩模型在零样本分类和生成上仍然表现出令人满意的能力，并且只需要50K数据，在3小时内就能通过调整技术（LoRA）有效地恢复性能。

    May, 2023

  • 超越大小：梯度如何塑造大型语言模型的剪枝决策

    预训练的大型语言模型的梯度为基础的模型修剪器（GBLM-Pruner）通过利用卡尔曼几何中的几何相互关联性明显胜过其他竞争对手，并在各种语言评估中超过了幅度修剪、Wanda和SparseGPT。

    Nov, 2023

  • 基于波动的自适应结构修剪大型语言模型

    通过提出一种新颖的名为FLAP（基于波动的自适应结构修剪）的网络学习模型无需再训练就能进行结构修剪的框架，可以有效减少存储和提高推理速度，大大优于现有的基于结构修剪的方法，同时通过制定结构重要性度量，自适应搜索全局压缩模型，并实施补偿机制来缓解性能损失。

    Dec, 2023

  • LLaMA简化： 大型语言模型的简单深度修剪

    通过深度剪枝方法，我们展示出其在零样本任务性能方面可以与最近的宽度剪枝方法竞争，并且在内存受限情况下的推理速度提升尤为明显，希望这项工作能够帮助在本地和边缘设备上部署大型语言模型。

    Feb, 2024

  • LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

    通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。

    Mar, 2024

  • 通过视觉令牌撤回，提升多模态大型语言模型的快速推理能力

    通过引入Visual Tokens Withdrawal模块以提升Multimodal large language models在快速推理方面的性能，通过分析注意力集中现象和信息迁移现象，我们发现在深层的MLLMs中不需要视觉特征信息，并通过判断Kullback-Leibler散度选择了合适的层进行视觉特征的提取操作，使得我们的方法能在维持性能的同时，减少超过40%的计算开销。

    May, 2024

  • BlockPruner：大型语言模型的细粒度剪枝

    我们提出了一种名为BlockPruner的新型无需训练的结构化修剪方法，通过定位多头注意力和多层感知机块中的冗余实现更精细的修剪，实验证明，与现有方法相比，BlockPruner在各种下游任务中实现了更精确和有效的修剪。

    Jun, 2024

  • EE-MLLM：一种数据高效和计算高效的多模态大型语言模型

    本研究解决了当前多模态大型语言模型中数据和计算效率之间的权衡问题。提出的EE-MLLM通过改进原有的自注意力机制，采用组合注意力机制，既不增加额外模块或可学习参数，又有效提升了数据和计算效率。实验结果验证了EE-MLLM在多个基准测试上的优越性能，具有显著的潜在影响。

    Aug, 2024

  • 平衡性能与效率：一种基于图像文本交互的多模态大型语言模型剪枝方法

    本研究针对多模态大型语言模型在计算成本方面的挑战，提出了一种动态剪枝算法，旨在提高模型的训练和推理效率。通过对视觉和CLS标记的相似性进行分析，该方法在不显著降低性能的情况下，将输入标记减少至原始数量的22%。

    Sep, 2024

  • 少即是多：一种简单而有效的令牌减少方法以提高多模态大语言模型的效率

    本研究解决了多模态大语言模型在资源消耗上的问题，提出了一种名为TRIM的令牌减少方法，旨在提升模型效率。该方法受人类视觉问答任务中注意力模式的启发，通过选择和减少图像令牌，显著降低了计算开销，同时保持了性能的一致性。这项研究在12个数据集上进行了广泛测试，为高性能模型的可及性和可持续性做出了重要贡献。

    Sep, 2024