EE-MLLM：一种数据高效和计算高效的多模态大型语言模型
本综述论文探讨了多模态大型语言模型（MLLMs），该模型整合了类似于GPT-4的大型语言模型（LLMs），用于处理文本和视觉等多模态数据。MLLMs展示了生成图像叙述和回答基于图像的问题等能力，缩小了人与计算机之间的差距，并暗示了通向人工智能的潜在途径。然而，MLLMs仍面临处理多模态语义差距的挑战，可能导致错误生成，对社会造成潜在风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，并且性能改进有限。该论文旨在探讨LLMs的模态对齐方法及其现有能力。实施模态对齐使得LLMs能够解决环境问题并提高可访问性。研究调查了MLLMs中现有的模态对齐方法，分为四个组：（1）多模态转换器将数据转换为LLMs可以理解的格式；（2）多模态感知器改善LLMs对不同类型数据的感知能力；（3）工具辅助将数据转换为一种常见格式，通常是文本；以及（4）数据驱动方法教导LLMs理解数据集中特定类型的数据。这个领域仍处于探索和试验阶段，我们将组织和更新各种现有的多模态信息对齐研究方法。
Nov, 2023
连接文本和视觉模态在生成智能中起着关键作用。受大型语言模型成功的启发，目前正在大量研究开发多模态大型语言模型 (MLLMs)。本文全面回顾了最近的面向视觉的MLLMs，分析了它们的体系结构选择、多模态对齐策略和训练技术。同时，还对这些模型在包括视觉定位、图像生成和编辑、视觉理解以及领域特定应用等一系列任务上进行了详细分析。此外，我们还编译和描述了训练数据集和评估基准，并在性能和计算要求方面对现有模型进行了比较。总体而言，本调查提供了当前最新技术的全面概述，为未来的MLLMs奠定了基础。
Feb, 2024
在本文中，我们研究了Multimodal Small Language Models（MSLMs）的设计方面，并提出了一种高效的多模态助手Mipha，旨在在视觉表示、语言模型和优化策略等各个方面产生协同效应。我们展示了在不增加训练数据量的情况下，我们的Mipha-3B在多个基准测试中表现优于最先进的大型MLLMs，尤其是LLaVA-1.5-13B。通过详细讨论，我们提供了开发强大的MSLMs以与MLLMs能力匹敌的见解和指南。
Mar, 2024
通过对一些最先进的VLM（Visual Language Model）进行分析，我们发现它们在执行ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的VLM对齐框架，实现ICL支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了21.03%的ICL表现（平均11.3%），超过了最强VLM基线和多种ICL基准，并为VLM的ICL评估贡献了新的基准，并讨论了它们相对于现有技术的优势。
Mar, 2024
在这份调研报告中，我们综述了当前高效多模态大语言模型（MLLMs）的研究状况，包括代表性的高效MLLM的时间线、高效结构和策略的研究现状以及应用领域。最后，我们讨论了目前高效MLLM研究的限制和有前途的未来方向。
May, 2024
利用新的多模态大型语言模型AlignGPT，通过在预训练阶段为不同的图像-文本对分配不同级别的对齐能力，并在指导微调阶段自适应地组合这些不同级别的对齐能力，以满足不同指令的动态对齐需求，取得了12个基准测试的竞争性性能。
May, 2024
本研究介绍了一个名为E5-V的新框架，旨在通过调整多模态大型语言模型（MLLMs）来实现通用的多模态嵌入表征。我们的发现突出了相较于以往方法，MLLMs在表征多模态输入方面的显著潜力。通过与提示语一起使用MLLMs，E5-V有效地弥合了不同类型输入之间的模态差距，在多模态嵌入方面展现出强大的性能，即使在没有进行微调的情况下。我们提出了一种E5-V的单模态训练方法，即仅对文本对进行训练。该方法在图像-文本对的传统多模态训练基础上取得了显著的改进，同时将训练成本降低了约95%。此外，该方法消除了昂贵的多模态训练数据收集的需求。通过在四类任务上进行大量实验，证明了E5-V的有效性。作为一种通用多模态模型，尽管仅在单一模态上进行训练，E5-V不仅实现了，而且经常超过每项任务的最新性能水平。
Jul, 2024
本研究解决了多模态大语言模型（MLLMs）在实际应用中面临的挑战和不足。通过系统归纳MLLM在语言、视觉和音频等多模态任务中的应用，并分析不同模型的关注点，本文提出了未来研究的潜在方向。研究结果为MLLM的发展和应用提供了重要的见解。
Aug, 2024
该研究针对多模态大语言模型（MLLMs）在图像跨模态指令处理中的语义对齐问题，提出了一种新方法——语义对齐模型（SAM）。通过在视觉标记提取过程中实现不同图像之间的双向语义指导，SAM显著提升了图像间联系信息的保留，实验结果表明其在组caption任务和故事讲述任务上均明显优于现有方法，显示出巨大的潜在影响。
Aug, 2024