Jan, 2024

从 GPT-4 到 Gemini 和更远：通过四种方式评估 MLLMs 的一般化能力、可靠性和因果关系

PDF
TL;DR通过对专有和开源多模态大语言模型的定性研究，本文旨在增强对最近的 MLLM 在一般化、可信度和因果推理能力方面与广大公众期望之间差距的理解，主要关注文本、代码、图像和视频四个模态，最终目标是提高 MLLM 透明度，发现 14 个实证性发现以深入了解专有和开源 MLLM 的能力和限制，以实现更可靠的多模态下游应用。
multi-modal large language modelsgeneralizabilitytrustworthinesscausal reasoningreliable downstream multi-modal applications
发现论文，激发创造
  • 推理中的雙子座：揭示多模態大語言模型中的常識

    Google 的 Gemini 模型通过对 12 个常识推理数据集的综合分析，展现出与其他语言模型和多模态语言模型相竞争的常识推理能力，揭示了当前语言模型和多模态语言模型在解决常识问题方面所面临的共同挑战，强调了提高这些模型的常识推理能力的进一步发展的需求。

    Dec, 2023

  • 医学影像中多模态大型语言模型的实用性初探

    利用 Gemini 和 GPT-4V 模型，本研究尝试基于两种模态医学图像数据进行分类、解释和分析，并发现 Gemini 在分类任务上略优于 GPT-4V，而 GPT-4V 的回答主要是泛化的。该研究为多模态大型语言模型在视网膜眼底检查和肺部 X 射线图像等医学图像分析专项任务中的分类和解释提供了潜力，并识别了早期调查研究中的关键限制。

    Jun, 2024

  • 多模态大型语言和视觉模型综述

    通过对具有多模态能力的 LLM 和 MM-LLM 的当前状况进行广泛回顾，本文涵盖了 LLM 的历史发展、注意力机制在提升模型性能方面的作用，以及 Fine-tuning 和 prompt engineering 等模型调整技术。同时还分析了伦理考虑和挑战，并讨论了开源和专有模型在 AI 研究中的影响。通过这个综述，我们揭示了 MM-LLM 在各种应用中的转型潜力。

    Mar, 2024

  • 支持现实世界事实核查的多模态大型语言模型

    对多模态大型语言模型在事实检查方面的能力和局限性进行了系统评估，发现 GPT-4V 在识别恶意和误导性多模态论断方面表现出优越性能，具备解释不合理方面和潜在动机的能力，同时已有的开源模型存在强烈的偏见，并对提示非常敏感。这项研究为对抗虚假多模态信息和构建安全可靠的多模态模型提供了启示，据我们所知，这是第一次对多模态大型语言模型进行真实世界事实检查的评估。

    Mar, 2024

  • MLLM-Bench，使用 GPT-4V 评估多模式 LLMs

    为了追求人工通用智能（AGI），将视觉集成到语言模型中标志着一个重要里程碑。视觉语言模型（MLLMs）的出现，如 GPT-4V，扩展了人工智能应用程序，与人脑的多模态能力相匹配。然而，评估 MLLMs 的有效性面临着重大挑战，因为缺乏确定性答案的任务具有主观性。现有的多模态大型语言模型的自动评估方法依赖于具有标准答案的客观查询，并未充分解决创造性和联想性多模态任务的细微差别。为了解决这个问题，我们引入了 MLLM-Bench，这是一个受 Vicuna 启发的创新基准，涵盖了各种场景，包括感知、理解、应用、分析、评估和创作，以及伦理考虑。MLLM-Bench 的设计更加准确地反映用户体验，并提供了对模型性能更全面的评估。对比评估结果表明，现有的开源模型和 GPT-4V 之间存在显著的性能差距。我们认为，MLLM-Bench 将推动开源社区在开发能满足广泛实际应用需求的用户导向视觉语言模型方面取得进展。请访问 https://mllm-bench.llmzoo.com 查看在线排行榜。

    Nov, 2023

  • 超越专业化：评估 MLLM 在年龄和性别估计中的能力

    通过比较多模态大型语言模型在年龄和性别估计专项任务中的能力，并尝试对 ShareGPT4V 模型进行微调，该研究提供了有关这些模型的优势和劣势的有趣结果和见解，并更新了 MiVOLO 模型的细节和新指标。

    Mar, 2024

  • 挑战 GPT-4V？对 Gemini 在视觉专长方面的早期探索

    Gemini Pro is explored as a challenger to GPT-4V in multi-modal learning, showcasing comparable visual reasoning capabilities but with different answering styles and preferences, while Sphinx lags behind in domain generalizability; Gemini has the potential to be a strong contender according to quantitative evaluation on the MME benchmark.

    Dec, 2023

  • 如何弥合模态之间的差距：对多模态大语言模型的全面调查

    本综述论文探讨了多模态大型语言模型（MLLMs），该模型整合了类似于 GPT-4 的大型语言模型（LLMs），用于处理文本和视觉等多模态数据。MLLMs 展示了生成图像叙述和回答基于图像的问题等能力，缩小了人与计算机之间的差距，并暗示了通向人工智能的潜在途径。然而，MLLMs 仍面临处理多模态语义差距的挑战，可能导致错误生成，对社会造成潜在风险。选择适当的模态对齐方法至关重要，因为不恰当的方法可能需要更多参数，并且性能改进有限。该论文旨在探讨 LLMs 的模态对齐方法及其现有能力。实施模态对齐使得 LLMs 能够解决环境问题并提高可访问性。研究调查了 MLLMs 中现有的模态对齐方法，分为四个组：（1）多模态转换器将数据转换为 LLMs 可以理解的格式；（2）多模态感知器改善 LLMs 对不同类型数据的感知能力；（3）工具辅助将数据转换为一种常见格式，通常是文本；以及（4）数据驱动方法教导 LLMs 理解数据集中特定类型的数据。这个领域仍处于探索和试验阶段，我们将组织和更新各种现有的多模态信息对齐研究方法。

    Nov, 2023

  • Gemini 对 GPT-4V：基于定性案例的视觉 - 语言模型初步比较与结合

    这篇论文对谷歌的 Gemini 和 OpenAI 的 GPT-4V (ision) 两个创新模型进行了深入的比较研究，重点关注它们在视觉理解能力、与人类交互、时间理解以及智能和情感商数等关键领域的表现，发现 GPT-4V 以精准简洁的回答著称，而 Gemini 在提供详细广泛回答和相关图像和链接方面表现出色。这些研究成果不仅揭示了 Gemini 和 GPT-4V 的比较优势，也突显了多模式基础模型领域的发展，为未来的进展铺平了道路。

    Dec, 2023

  • 如何训练一款基于多模态输入的 GPT4 风格语言模型？

    探讨大型语言模型的结构、训练数据、训练策略和不同指令对模型的影响，并且创建了一个既包括图像任务又包括视频任务的全面评估集，最终呈现了 Lynx，该模型在保持最佳多模生成能力的同时，表现出最准确的多模态理解能力。

    Jul, 2023