通过使用全面的评估框架MM-BigBench，本文综合评估了20个语言模型（包括14个多模态大型语言模型）在14个多模态数据集上的性能，并通过引入新的指标，对不同模型和指令之间的性能以及适应性进行了评估。

Oct, 2023

通过自动数据整理和评估，利用优秀的语言模型和视觉语言模型衡量对齐VLMs与人类智能的能力，我们提出了Auto-Bench作为一个灵活、可扩展和全面的评估benchmark。

Nov, 2023

本综述以数据为中心的视角全面回顾多模态大型语言模型的文献，探索了在多模态数据准备、预训练和适应阶段的方法，分析了数据集的评估方法和评估多模态大型语言模型的基准。此外，本综述还概述了未来的研究方向，以便为研究人员提供对多模态大型语言模型的数据驱动方面的详细理解，推动该领域的进一步探索和创新。

May, 2024

利用可视化素养的概念评估多模式大语言模型（MLLMs）的性能，研究表明MLLMs在可视化素养方面具有竞争力，能够优于人类在识别相关性、聚类和层次结构等任务中。

Jun, 2024

本研究解决了当前多模态大型语言模型中数据和计算效率之间的权衡问题。提出的EE-MLLM通过改进原有的自注意力机制，采用组合注意力机制，既不增加额外模块或可学习参数，又有效提升了数据和计算效率。实验结果验证了EE-MLLM在多个基准测试上的优越性能，具有显著的潜在影响。

Aug, 2024

本研究解决了多模态大语言模型在高分辨率图像理解中的不足，尤其是现有基准仅支持2K图像的问题。我们提出了DC$^2$框架，通过分割、生成文本描述及结合信息，显著提升模型在4K和8K图像上的感知能力。实验结果表明，该框架在多模态基准测试中相较于现有模型可实现6%-8%的准确率提升。

Aug, 2024

本研究针对多模态大型语言模型（MLLMs）在数据质量方面面临的瓶颈问题，提出了MMEvol框架，通过精细化感知、认知推理和交互演化的结合，迭代性地生成复杂多样的图像-文本指令数据集。实验表明，相较于初始种子数据训练的基线模型，我们的方法在13个视觉语言任务中平均提高了3.1个百分点的准确率，并在九个任务中达到了最新的性能，同时使用的数据量显著减少。

Sep, 2024

本研究解决了多模态大型语言模型（MLLMs）在数据质量上的瓶颈问题。我们提出的MMEvol框架通过细致的感知、认知推理和交互进化，迭代提升指令数据的质量，从而生成更复杂和多样化的图像-文本指令数据集。研究表明，相比于初始种子数据训练的基准模型，我们的方法在13个视觉-语言任务上实现了平均3.1个百分点的准确率提升，并在九个任务上达到了最先进的表现。

Sep, 2024

本研究针对长视频理解面临的独特挑战，探讨了多模态大语言模型（MM-LLMs）的设计与训练差异。通过总结现有研究进展，本论文揭示了在空间时间细节和长期依赖性方面的关键问题，并展示了MM-LLMs在不同视频长度理解基准测试中的表现，为未来长视频理解的方向提供了重要见解。

Sep, 2024

本研究解决了多模态大语言模型在图像理解和推理方面的能力不足问题。通过采用数据中心的方法，系统地研究不同数据组合对模型训练的影响，论文展示了高质量数据与优化训练策略的有效性。研究表明，即使在小规模模型（1B和3B参数）下，精心的数据策划也能显著提升性能，推动了未来多模态大语言模型的发展。

Sep, 2024