Feb, 2024

TinyLLaVA：一个小规模大型多模态模型的框架

PDF
TL;DR通过 TinyLLaVA 框架的研究与实验，我们发现数据的质量、训练配方和模型选择对于设计和分析小规模的大型多模型模型非常重要；通过将更好的数据质量和更好的训练配方相结合，我们发现较小规模的模型可以与更大规模的模型达到相当的性能，这些发现可为未来的研究提供基准。
tinyllava frameworksmall-scale large multimodal models (lmms)vision encoderstraining recipesmodel selection
发现论文，激发创造
  • TinyLLaVA Factory：小规模大型多模态模型的模块化代码库

    TinyLLaVA Factory 是一个开源的模块化代码库，专注于简洁易用的实现、可扩展性和训练结果的可重现性，旨在帮助研究人员和实践者在小规模大型多模元模型（LMMs）的设计和训练方面探索广阔领域并利用有限的计算资源。

    May, 2024

  • MG-LLaVA：面向多粒度视觉指导调整

    采用多种视觉特征与语言模型相结合的创新方法 MG-LLaVA，在感知任务中提供了出色的表现，并且超越了相似参数规模的现有模型，具备出色的目标识别能力。

    Jun, 2024

  • LLaVA-Gemma：利用紧凑的语言模型加速多模基础模型

    我们使用近期发布的 Gemma 系列大型语言模型（LLMs）在流行的 LLaVA 框架中训练了一套多模态基础模型（MMFM）。我们测试了删除三个设计特征对模型性能的影响，并对性能进行了深入分析。最终的 LLaVA-Gemma 模型在多项评估中表现适中，但未能超越当前规模相当的 SOTA 模型。

    Mar, 2024

  • 一个关于扩展面向指令调整的大型多模态模型的实证研究

    通过调整视觉指导，对开源大型多模态模型进行扩展研究，探索影响多模态和语言能力的变量，发现扩展模型能够提升性能，具有与整个模型微调相当的效果，并强调了提高图像分辨率和混合多模态语言数据对性能的重要性，有时视觉指导可以提高纯语言功能。

    Sep, 2023

  • u-LLaVA: 通过大型语言模型统一多模态任务

    通过将 LLM 作为连接多个专家模型的桥梁，采用 u-LLaVA 方法来解决多模态 LLM 在任务间产生的幻觉和相互干扰问题，该方法有效且简单，并在多个基准测试中获得了最先进的性能。

    Nov, 2023

  • 通过视觉指导优化的改进基准模型

    通过对 LLaVA 进行简单修改，采用 CLIP-ViT-L-336px 与 MLP 投影以及添加面向学术任务的 VQA 数据，我们建立了更强的基线模型，在 11 个基准测试中达到了最新的成果。

    Oct, 2023

  • 基于数据中心视角的高效多模态学习

    通过探索更加信息丰富的训练数据，本文演示了击败规模定律并训练出更小但更强大的轻量级多模态大语言模型 Bunny，其背后利用了灵活的视觉和语言基础模块进行高效的多模态学习。

    Feb, 2024

  • HyperLLaVA：基于动态视觉和语言专家调整的多模态大型语言模型

    通过使用 HyperLLaVA 和 HyperNetworks，我们在多模态大型语言模型方面取得了巨大的进展，并在多个基准测试中显著超越了现有的解决方案。

    Mar, 2024

  • LLaVA-UHD: 一种感知任何纵横比和高分辨率图像的 LMM

    LLaVA-UHD 是一种大型多模态模型，其中包括图像模块化策略、压缩模块和空间模式，它可以高效地感知任何宽高比和高分辨率的图像，并在多个基准测试中优于其他模型。

    Mar, 2024

  • LLaVA-$φ$: 高效的多模态助手与小型语言模型

    介绍了 LLaVA-Phi，一种高效的多模态助手，利用最近先进的小型语言模型 Phi-2 的强大能力来促进多模态对话，并展示了即使是参数只有 27 亿的小型语言模型，只要用高质量的语料库进行训练，也能在集成文本和视觉元素的复杂对话中有效参与。该模型在公开可用的视觉理解、推理和基于知识的感知的基准测试中表现出色。除了在多模态对话任务中取得卓越性能外，模型还为时间敏感环境和需要实时交互的系统（如具身代理）的应用开辟了新的方向，突显了小型语言模型在实现复杂的理解和交互水平时保持更高资源效率的潜力。

    Jan, 2024