MultiBench是一个系统性和统一化的基准测试，跨越15个数据集，10种模态，20种预测任务和6个研究领域。MultiBench提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善9/15数据集的最先进性能。MultiBench处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

Jul, 2021

通过进行一系列实验，我们研究了多模态大型语言模型在地理和地理空间领域的知识和能力，重点关注前沿模型GPT-4V的视觉能力，并与开源模型进行性能比较。我们的方法涉及使用一套地理任务的小规模基准测试这些模型，测试它们在不同难度任务上的能力。分析结果揭示了这些模型的优点，包括超过人类的性能，并揭示了它们的不足之处，提供了它们在地理领域能力的全面视角。为了促进未来模型的比较和评估，我们将公开发布我们的基准测试。

Nov, 2023

AI研究纸提出了ConTextual，它是一个新颖的基准测试，旨在评估LMM在上下文敏感的文本丰富的视觉推理方面的能力，发现最佳表现的LMM与人类能力存在30.8％的性能差距，表明上下文敏感的文本丰富的视觉推理仍有改进空间。

Jan, 2024

评估多模态大型语言模型（MLLMs）的性能，集成点云和语言，面临重大挑战。缺乏全面评估阻碍确定这些模型是否真正代表进步，从而妨碍该领域的进一步发展。我们引入了可扩展的3D基准测试和大规模指令调整数据集3DBench，提供了一个全面评估MLLMs的可扩展平台，以解决这些问题。该基准测试覆盖了从物体级到场景级的广泛空间和语义范围，涉及感知和规划任务，并且我们提出了一个严格的流程来自动生成可扩展的3D指令调整数据集，总共涵盖了10个多模态任务，共生成了超过23万个问答对。通过对热门MLLMs的彻底实验评估、与现有数据集的比较以及训练方案的变异，我们展示了3DBench的优越性，为当前的局限性和潜在研究方向提供了有价值的见解。

Apr, 2024

该研究介绍了MMT-Bench，这是一个综合性评估基准，旨在评估大规模视觉-语言模型（LVLM）在多种跨领域的多模态任务上的能力，并促进下一代通用多模态智能基础模型的发展。

Apr, 2024

该研究旨在通过引入MileBench基准来系统评估多模态大型语言模型（MLLMs）在长上下文和多图像任务中的适应能力，并发现开源MLLMs在长上下文情境中面临着挑战，尤其在涉及多图像的情景下。

Apr, 2024

利用多模态语言模型，我们系统评估其图片地理定位能力，并通过新的图像数据集和全面的评估框架进行训练及非训练的评估。结果表明，闭源模型展示出更好的地理定位能力，而开源模型通过微调可达到相当的性能。

May, 2024

建立了首个最大的多模态三维场景数据集与基准，并通过层次语言注释进行了多模态三维感知研究，为领域相关问题提供了重要的资源。

Jun, 2024

使用具有人类推理知识的大型视觉语言模型（LVLM）的新范式来解决地理定位问题。该模型通过使用基于CLIP的网络来评估街景图像的可定位程度，并整合来自真实地理定位游戏的外部知识，训练出了一种名为GeoReasoner的模型，优于其他LVLM模型25%以上以及StreetCLIP模型，并且需要更少的训练资源。

Jun, 2024

本研究解决了大型视觉语言模型（LVLMs）多图像处理能力评估不足的问题。提出的多模态多图像理解（MMIU）基准是一个全面的评估套件，涵盖了7种多图像关系、52个任务和77K图像，揭示了即使是最先进的模型在空间理解任务中仍面临显著挑战。这一基准有望推动LVLM研究和开发前沿的发展。

Aug, 2024