无指令调优的视觉令牌补充框架用于多模态大型语言模型

Aug, 2024

无指令调优的视觉令牌补充框架用于多模态大型语言模型

Instruction Tuning-free Visual Token Complement for Multimodal LLMs

Dongsheng Wang, Jiequan Cui, Miaoge Li, Wang Lin, Bo Chen...

TL;DR本研究针对现有多模态大型语言模型（MLLMs）在训练中面临的高质量指令对需求和视觉信息丢失的问题，提出了一种视觉令牌补充框架（VTC）。该框架利用文本生成图像来识别与文本无关的特征，并通过视觉选择器生成补充的视觉令牌，从而增强原始视觉输入，显著提高响应准确性，且无需额外的图像-文本对，具备无指令调优的特性。

Abstract

As the open community of large language models (LLMs) matures, Multimodal LLMs (MLLMs) have promised an elegant bridge between vision and language. However, current research is inherently constrained by challenges such as the need for high-quality instruction pairs and the loss of visu

发现论文，激发创造

视觉指令调整

本文利用语言模型GPT-4生成多模态图文指令序列来优化多模态模型，得到了新的模型LLaVA并在多个数据集上表现出色。

Apr, 2023

LLaMA-Adapter V2: 参数高效的视觉指令模型

本文介绍LlaMA-Adapter V2，是一种解锁更多可学习参数并引入早期融合策略、共同训练数据的参数高效视觉指令模型，可用于多模态推理，对于开放式的视觉指令，具有更强的泛化能力。

Apr, 2023

多模态大语言模型的位置增强视觉指令调整

通过引入区域级别的视觉编码器，本文提出了一种增强图像教学调整功能的多模态大型语言模型（MLLMs），以实现更细粒度的模态交叉对齐，并设计了多种数据生成策略构建了图像-区域-语言指令数据集，实验结果表明该模型的卓越性能。

Aug, 2023

ImageBind-LLM：多模态指令调整

我们提出了ImageBind-LLM，一种通过ImageBind进行大型语言模型（LLM）的多模态指令调优方法。我们的方法可以响应多模态条件，包括音频、三维点云、视频以及它们的嵌入空间算术，仅通过图像文本对齐训练。我们的模型表现出卓越的多模态指令跟随能力，并具有显著的语言生成质量。

Sep, 2023

通过视觉指导优化的改进基准模型

通过对LLaVA进行简单修改，采用CLIP-ViT-L-336px与MLP投影以及添加面向学术任务的VQA数据，我们建立了更强的基线模型，在11个基准测试中达到了最新的成果。

Oct, 2023

LION：赋能双层视觉知识的多模态大语言模型

多模态大型语言模型（MLLMs）借助视觉知识的两个层面提升了理解和感知多模态信号的能力。通过逐步整合细粒度的空间感知视觉知识和软提示高级语义视觉证据的方法，我们的模型在多个多模态基准测试中展示了过人的优越性能。

Nov, 2023

赋能多模态知识存储和共享的视觉增强LLMs

通过MKC2散裝部件集成到LLMs中，来存储和分享多模态知识，以增强LLMs的推理能力，从而在需要物理或常识知识的上下文中提供竞争性结果。

Nov, 2023

VILA：关于视觉语言模型的预训练

通过逐步可控的比较，我们研究了增强大语言模型 (LLM) 向视觉语言模型 (VLM) 扩展的 VLM 预训练过程的设计选择。我们通过增强的预训练方法构建了 VILA，一系列视觉语言模型，无需额外的修饰即可在主要基准测试中始终优于当前最先进的模型。多模态预训练还有助于揭示 VILA 的吸引人属性，包括多图像推理、增强的上下文学习和更好的世界知识。

Dec, 2023

通过视觉令牌撤回，提升多模态大型语言模型的快速推理能力

通过引入Visual Tokens Withdrawal模块以提升Multimodal large language models在快速推理方面的性能，通过分析注意力集中现象和信息迁移现象，我们发现在深层的MLLMs中不需要视觉特征信息，并通过判断Kullback-Leibler散度选择了合适的层进行视觉特征的提取操作，使得我们的方法能在维持性能的同时，减少超过40%的计算开销。

May, 2024

平衡性能与效率：一种基于图像文本交互的多模态大型语言模型剪枝方法

本研究针对多模态大型语言模型在计算成本方面的挑战，提出了一种动态剪枝算法，旨在提高模型的训练和推理效率。通过对视觉和CLS标记的相似性进行分析，该方法在不显著降低性能的情况下，将输入标记减少至原始数量的22%。

Sep, 2024