Sep, 2024

少即是多：一种简单而有效的令牌减少方法以提高多模态大语言模型的效率

HTML
PDF
TL;DR本研究解决了多模态大语言模型在资源消耗上的问题，提出了一种名为TRIM的令牌减少方法，旨在提升模型效率。该方法受人类视觉问答任务中注意力模式的启发，通过选择和减少图像令牌，显著降低了计算开销，同时保持了性能的一致性。这项研究在12个数据集上进行了广泛测试，为高性能模型的可及性和可持续性做出了重要贡献。
发现论文，激发创造
  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • LLaVA-PruMerge: 高效大型多模态模型的自适应令牌减少

    通过减少视觉标记并合并相关标记，我们提出了一种自适应的视觉标记压缩方法 PruMerge，可以显著减少可视标记的数量并保持相似的模型性能。

    Mar, 2024

  • 探索视觉-语言模型的边界：当前方法和未来方向的综述

    综述了大语言模型与视觉语言模型的最新进展，分析了它们在视觉能力、多模态输入和基准数据集方面的优势和局限性，并提出未来研究的潜在方向。

    Feb, 2024

  • SEED-Bench-2-Plus：基于多模态大型语言模型的文本丰富视觉理解基准测试

    我们介绍了SEED-Bench-2-Plus，这是一个专门设计用于评估MLLMs的文本丰富视觉理解的基准，通过涵盖现实世界中的三个广泛类别（图表、地图和网络），它们有效地模拟了复杂多样的文本丰富环境，并强调了当前MLLMs在文本丰富视觉理解方面的限制。

    Apr, 2024

  • 通过视觉令牌撤回，提升多模态大型语言模型的快速推理能力

    通过引入Visual Tokens Withdrawal模块以提升Multimodal large language models在快速推理方面的性能，通过分析注意力集中现象和信息迁移现象，我们发现在深层的MLLMs中不需要视觉特征信息，并通过判断Kullback-Leibler散度选择了合适的层进行视觉特征的提取操作，使得我们的方法能在维持性能的同时，减少超过40%的计算开销。

    May, 2024

  • 高效多模态大型语言模型综述

    在这份调研报告中，我们综述了当前高效多模态大语言模型（MLLMs）的研究状况，包括代表性的高效MLLM的时间线、高效结构和策略的研究现状以及应用领域。最后，我们讨论了目前高效MLLM研究的限制和有前途的未来方向。

    May, 2024

  • 重新审视多模态大型语言模型评估

    本研究针对当前多模态大型语言模型（MLLM）评估中存在的数据集问题，如偏见和虚假关联，提出了一种新方法。我们首次使用改进的数据集评估多个MLLM，揭示了许多模型的潜在缺陷，并且我们的代码已整合于LAVIS框架中，便于今后模型的快速评估。

    Aug, 2024

  • EE-MLLM：一种数据高效和计算高效的多模态大型语言模型

    本研究解决了当前多模态大型语言模型中数据和计算效率之间的权衡问题。提出的EE-MLLM通过改进原有的自注意力机制，采用组合注意力机制，既不增加额外模块或可学习参数，又有效提升了数据和计算效率。实验结果验证了EE-MLLM在多个基准测试上的优越性能，具有显著的潜在影响。

    Aug, 2024

  • 适应与修剪：快速且无需训练的多模态大型语言模型视觉标记修剪

    本研究解决了多模态大型语言模型（MLLMs）中视觉标记冗余及计算负担过重的问题。提出的FitPrune方法通过统计分析快速生成修剪方案，从而在保持高性能的同时显著减少计算复杂度。实验结果表明，该方法在不显著损失准确度的情况下，能够减少多达54.9%的计算量。

    Sep, 2024

  • 多模态大型语言模型的视觉问题分解

    本研究聚焦于多模态大型语言模型（MLLMs）在复杂问题回答中的问题分解能力。通过提出系统的评估框架和特定微调数据集DecoVQA+，我们发现现有的MLLMs在生成高质量子问题方面存在显著不足，并通过有效的微调流程显著提升了模型的分解能力和准确性。

    Sep, 2024