Jun, 2024

任务问我

HTML
PDF
TL;DRTask-Me-Anything是一个针对大型多模式语言模型（MLMs）的基准生成引擎，它可以根据用户需求生成定制化的基准，并通过在计算预算内高效地算法地解决用户对MLM性能的查询。它包含113K图像、10K视频、2K 3D物体资源、365多个物体类别、655个属性和335个关系，可以生成750M图像/视频问答对，重点评估MLM的感知能力。研究发现：开源的MLMs在物体和属性识别方面表现出色，但在空间和时间理解方面还存在不足；每个模型都具有独特的优势和劣势；较大的模型通常表现更好，尽管也有例外；GPT4o在识别旋转/移动物体和区分颜色方面存在挑战。
发现论文，激发创造
  • 视觉语言模型的可扩展性能分析

    本文介绍了一种更具可伸缩性的方法，其根据从视觉-语言基准中提取的大量多样化特征，并测量它们与目标模型输出的相关性。通过该方法，作者确认了之前发现的CLIP表现类似于词袋模型，并且在名词和动词上表现更好；作者还发现CLIP在处理具体词语时会出现混淆。该框架可用于其他多模态模型和基准测试。

    May, 2023

  • 多模态大型语言模型中的顺序视觉输入推理和预测基准测试

    多模式大型语言模型在感知和解释任务中显示出巨大潜力，但其在预测推理方面的能力尚未得到充分探索。为填补这一空白，我们引入了一个新颖的基准测试，评估多模式大型语言模型在不同情境下的预测推理能力。我们的基准测试针对三个重要领域：抽象模式推理、人类活动预测和物理交互预测。我们进一步开发了三种由大型语言模型驱动的评估方法，以稳健地量化模型在基于多模态上下文的预测和推理未来方面的性能。经验实验证实了所提出的基准测试和评估方法的合理性，并通过严格测试揭示了当前流行的多模式大型语言模型在预测推理任务中的优缺点。最后，我们提出的基准测试为多模式大型语言模型提供了一个标准化的评估框架，并可以促进开发能够在复杂的长序列多模态输入上进行推理和预测的更先进的模型的发展。

    Oct, 2023

  • SEED-Bench-2：多模态大型语言模型基准测试

    我们提出了 SEED-Bench-2，这是一个综合评估多模态大型语言模型能力的基准测试，并通过对23个主要开源多模态大型语言模型的性能评估，揭示了现有模型的局限性。

    Nov, 2023

  • 记念品：一种用于模态多模式大型语言模型推理图像序列的综合基准

    这篇论文介绍了 Mementos，这是一个旨在评估多模态大型语言模型（MLLMs）的顺序图像推理能力的新基准，通过评估九种最新的 MLMMs 对 Mementos 的表现，发现它们在准确描述给定图像序列的动态信息方面存在困难，经常导致物体及其相关行为的幻觉/误代，研究确定了影响MLLMs顺序图像推理的三个关键因素：物体和行为幻觉之间的相关性，共发生行为的影响以及行为幻觉的复合影响。

    Jan, 2024

  • MMT-Bench：一个综合评估大型视觉语言模型向多任务人工通用智能发展的多模态基准

    该研究介绍了MMT-Bench，这是一个综合性评估基准，旨在评估大规模视觉-语言模型（LVLM）在多种跨领域的多模态任务上的能力，并促进下一代通用多模态智能基础模型的发展。

    Apr, 2024

  • MileBench: 在长上下文中评测多语言大型语言模型

    该研究旨在通过引入MileBench基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源MLLMs在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。

    Apr, 2024

  • 4M-21：面向数十项任务和模态的任意到任意视觉模型

    通过对多个多媒体形式进行联合训练和扩展，我们成功地提升了多模态模型的能力，并展示了训练一个模型以解决更多任务/多模态性的可能性，而不损失性能，从而实现更精细化和可控的多模态生成能力。

    Jun, 2024

  • 通过检索的标签提醒多模态大型语言模型中的物体感知知识

    通过增强检索增强标记令牌，我们提出了Tag-grounded visual instruction tuning with retrieval Augmentation（TUNA），在12个基准测试中优于使用相同语言模型和训练数据的基线模型，并展示了TUNA的零-shot能力。

    Jun, 2024

  • MMEvalPro：多模态基准测试的可靠和高效评估

    通过提出MMEvalPro基准测试，我们针对多模态模型在视觉问题中的性能进行了评估的可靠性进行了改进，其结果表明该基准测试更具挑战性且更可信，为进一步推动未来研究提供了重要潜力。

    Jun, 2024

  • 多模态大语言模型基准调查

    本研究针对多模态大语言模型（MLLMs）在多个应用领域（如视觉问答和理解推理）的评价标准进行全面回顾，填补了现有文献在基准和评估方面的空白。该论文汇总了180个基准，探讨了评价方法的局限性，并指出评估应视为支持MLLMs发展的关键学科。研究结果将为未来MLLMs的评估与发展提供重要借鉴。

    Aug, 2024