Jun, 2024

EmbSpatial-Bench：基于大型视觉-语言模型的空间理解能力基准评估

HTML
PDF
TL;DR近期大型视觉-语言模型（LVLMs）的快速发展表明它们在具体任务中的潜力，然而，目前的LVLMs在具体环境中的空间理解能力尚未得到充分评估，这使得当前LVLMs与合格的具体智能之间存在未知差距。为此，我们构建了EmbSpatial-Bench，这是一个用于评估LVLMs具体空间理解能力的基准测试。该基准测试是从具体场景自动衍生而来的，涵盖了从个体视角出发的6种空间关系。实验证明了研究结果，即当前的LVLMs（甚至包括GPT-4V）的容量不足，我们进一步提出了EmbSpatial-SFT，这是一个旨在提高LVLMs具体空间理解能力的指导调优数据集。
发现论文，激发创造
  • EgoPlan-Bench：基于多模态大型语言模型的自我中心体验规划基准测试

    多模态大型语言模型（MLLMs）在具有出色推理和概括能力的大型语言模型（LLMs）基础上开辟了新的具身任务规划途径。我们引入了一项人类注释的基准测试EgoPlan-Bench，定量调查MLLMs在现实场景中作为具身任务规划器的潜力，并构建了一个指导调优数据集EgoPlan-IT，这些实验结果表明，通过EgoPlan-IT调优的模型不仅在我们的基准测试中显著提高了性能，还在模拟中有效地扮演了具身规划器的角色。

    Dec, 2023

  • 嵌入式扫描：面向身体智能的整体多模态3D感知套件

    在计算机视觉和机器人领域，基于自身的智能体需要能够探索环境并执行人类指令，这要求其能够从第一人称观察中完全理解3D场景，并将其以语言的形式进行交互。本研究引入了一种名为EmbodiedScan的多模式、自我中心的3D感知数据集和基准，用于整体的3D场景理解。通过该数据集，我们还引入了一种名为Embodied Perceptron的基线框架，它能够处理任意数量的多模式输入，并展示出卓越的3D感知能力。

    Dec, 2023

  • 在大规模语言和视觉模型中探索空间模式直觉

    尽管大型语言模型在人工智能研究中广泛使用，但其在模型具象问题上的探讨仍未得到充分挖掘，这使它们与感知直接影响物理动作的机器人具象系统相区别。本研究通过对人类关于语言基本空间构建模块的内隐直觉是否被大型语言模型有效捕捉来进行了调查。我们借鉴早期感知运动经验中发展的空间认知基础的见解，通过再现三个心理语言学实验来引导我们的探索。令人惊讶的是，模型输出与人类反应之间出现了相关性，揭示了在没有具体联系到具象经验的情况下的适应能力。值得注意的区别包括极化的语言模型反应和视觉语言模型中降低的相关性。本研究对于深入理解语言、空间经验和大型语言模型所进行的计算之间的相互作用做出了贡献。

    Feb, 2024

  • PCA-Bench: 评估感知-认知-行动链中的多模态大型语言模型

    PCA-Bench是一个用于评估多模态大型语言模型（MLLMs）综合能力的多模态决策基准，引入了三个复杂场景：自动驾驶、家庭机器人和开放世界游戏，并提出了误差定位能力和自动评估协议PCA-Eval对10种著名MLLM进行评估结果显示开源模型和GPT-4 Vision等强大专有模型之间存在显著性能差异，通过引入基于体验环境的自动框架Embodied-Instruction-Evolution（EIE），在PCA-Bench中生成了7,510个训练示例，并提高了开源MLLM的性能，偶尔超越GPT-4 Vision（+3％决策准确性），验证了EIE的有效性，发现GPT4-Vision之类的鲁棒MLLM对体验型代理的决策具有潜力，为MLLM研究开辟了新的道路。

    Feb, 2024

  • 3DBench：可扩展的 3D 基准测试和指令调优数据集

    评估多模态大型语言模型（MLLMs）的性能，集成点云和语言，面临重大挑战。缺乏全面评估阻碍确定这些模型是否真正代表进步，从而妨碍该领域的进一步发展。我们引入了可扩展的3D基准测试和大规模指令调整数据集3DBench，提供了一个全面评估MLLMs的可扩展平台，以解决这些问题。该基准测试覆盖了从物体级到场景级的广泛空间和语义范围，涉及感知和规划任务，并且我们提出了一个严格的流程来自动生成可扩展的3D指令调整数据集，总共涵盖了10个多模态任务，共生成了超过23万个问答对。通过对热门MLLMs的彻底实验评估、与现有数据集的比较以及训练方案的变异，我们展示了3DBench的优越性，为当前的局限性和潜在研究方向提供了有价值的见解。

    Apr, 2024

  • MMT-Bench：一个综合评估大型视觉语言模型向多任务人工通用智能发展的多模态基准

    该研究介绍了MMT-Bench，这是一个综合性评估基准，旨在评估大规模视觉-语言模型（LVLM）在多种跨领域的多模态任务上的能力，并促进下一代通用多模态智能基础模型的发展。

    Apr, 2024

  • SpatialRGPT：视觉语言模型中的基于场景的空间推理

    通过数据处理和深度信息集成，Spatial Region GPT(SpatialRGPT)提升了Vision Language Models(VLMs)的空间感知和推理能力，并且在空间推理任务中显著提高了性能。

    Jun, 2024

  • GSR-BENCH: 通过多模态的LLM评估接地式空间推理的基准

    这篇研究报告通过扩展What'sUp数据集，提出了一个全面的评估方法用于空间关系理解，并对27种不同模型的性能进行了评估，其中包括早期的视觉语言模型（VLMs）和三类多模态语言模型（MLLMs），以验证其在任务中的表现和研究其规模的变化规律。

    Jun, 2024

  • SpatialBot：基于视觉语言模型的精确空间理解

    通过为Vision Language Models提供RGB和深度图像，我们提出了SpatialBot来改进其对空间的理解能力，并构建了SpatialQA数据集用于训练深度理解，最后通过SpatialBench对其在不同层次上的空间理解能力进行综合评估，实验结果表明在SpatialQA数据集上训练的SpatialBot在空间理解方面取得了显著的改进。

    Jun, 2024

  • VidEgoThink：评估具身智能的自我中心视频理解能力

    本研究解决了多模态大型语言模型（MLLMs）在自我中心视频理解中的应用不足问题。通过设计视频问答、层次规划、视觉基础和奖励建模等四个相关任务，提出了一种自动数据生成流程，创建了VidEgoThink基准。实验结果表明，目前的基础模型在自我中心视频理解任务中表现不佳，强调了在具身智能领域进一步发展的必要性。

    Oct, 2024