Apr, 2024

WorldGPT: 以语言模型为基础的多模态世界模型

PDF
TL;DR构建于多模式大型语言模型（MLLM）之上的通用世界模型 WorldGPT，通过分析各领域的数百万个视频，使其理解世界动态。为了进一步增强 WorldGPT 在专门场景和长期任务中的能力，我们还将其与一种结合了内存卸载、知识检索和上下文反思的新型认知架构进行了集成。通过在涵盖各种现实情境的多模式状态转换预测基准 WorldNet 上进行评估，直接展示了 WorldGPT 准确建模状态转换模式的能力，确认其在理解和预测复杂情境动态方面的有效性。我们进一步探索了 WorldGPT 作为世界模拟器的潜力，通过高效合成多模式指令实例，帮助多模式代理在不熟悉的领域进行泛化，被证明与真实数据一样可靠用于微调目的。项目可在 https://github.com/DCDmllm/WorldGPT 找到。
world modelsmultimodal large language modelcognitive architecturestate transition predictionworld simulator
发现论文，激发创造
  • NExT-GPT: 任意到任意多模态 LLM

    我们介绍了一个名为 NExT-GPT 的全方位任意多模式多语言模型系统，通过使用多模态适配器和不同扩散解码器，NExT-GPT 能够接受和生成文本、图像、视频和音频等任意组合的内容，并通过调优投影层的少量参数进行训练和扩展，使其具备复杂的跨模态语义理解和内容生成能力，为构建能够模拟通用模态的人工智能代理提供了有前景的可能性。

    Sep, 2023

  • MMWorld: 视频中多学科多方面世界模型评估之路

    多模态语言模型 (MLLMs) 在解释和推理复杂的现实世界动态方面展示出新兴的 “世界模型” 的能力。为了评估这些能力，我们提出视频是理想的媒介，因为它们包含了丰富的现实世界动态和因果关系的表示。为此，我们引入了 MMWorld，一个新的多学科、多方面的多模态视频理解基准。MMWorld 通过两个独特的优势与以前的视频理解基准有所区别：（1）多学科，涵盖各种通常需要领域专业知识才能全面理解的学科；（2）多方面的推理，包括解释、反事实思考、未来预测等。MMWorld 包括一个人工标注的数据集，用于评估 MLLMs 对整个视频的问题，并包括一个用于分析 MLLMs 的单一感知模态的合成数据集。总计 MMWorld 涵盖了 7 个广泛的学科和 69 个子学科的 1,910 个视频，并配有 6,627 个问题 - 答案对和相关字幕。评估包括 2 个专有和 10 个开源的 MLLMs，在 MMWorld 上表现不佳（例如，GPT-4V 的准确率仅为 52.3%），显示了改进的空间。进一步的消融研究揭示了模型与人类不同的技能组合。我们希望 MMWorld 能成为在视频中评估世界模型的关键一步。

    Jun, 2024

  • CityGPT：大型语言模型赋能城市空间认知

    CityGPT 是一种用于增强大型语言模型在理解城市空间和解决相关城市任务方面能力的系统框架，通过在模型中构建城市规模的世界模型，并使用包含城市知识的多样化指令调整数据集 CityInstruction 来进行模型微调，实现对城市空间的理解和空间推理能力的有效增强。

    Jun, 2024

  • 利用预训练的大型语言模型构建和利用世界模型进行基于模型的任务规划

    本研究引入了一种新的方法，使用 PDDL 语言构建显式世界模型，并利用预训练的大型语言模型作为 PDDL 和校验器等纠正反馈的接口，以提高计划问题的效率和准确性。在不涉及用户互动的情况下，通过验证 PDDL 模型的正确性，我们制定计划来解决复杂任务并取得成功。

    May, 2023

  • VisionGPT：通用多模态框架基于视觉 - 语言理解 Agent

    介绍 VisionGPT，通过整合和自动化最先进的基础模型，促进视觉语言理解和视觉导向人工智能的发展，具有高效性、通用性和性能表现的潜力。

    Mar, 2024

  • 探究多模态 LLMs 作为驾驶世界模型

    我们评估了多模态大型语言模型（MLLMs）在自动驾驶领域的应用，并挑战和验证了一些常见假设，重点关注它们在封闭环控制环境下通过图像 / 帧序列来推理和解释动态行驶情景的能力。我们的研究揭示了这些模型在预测复杂、动态的驾驶环境中存在的不足，对于描绘动态行为的帧之间能否综合连贯的叙述或逻辑序列存在很大困难。我们通过使用专门设计的模拟器 DriveSim 生成多样化的驾驶情景，进行了一项全面的实验研究来评估各种 MLLMs 作为驾驶世界模型的能力，并为评估驾驶中的 MLLMs 贡献了全面的开源代码和一个新数据集 “Eval-LLM-Drive”。我们的研究结果突出了当前领先的 MLLMs 在真实动态环境中应用能力上的重要差距，强调了需要改进基础模型以提高其在真实世界动态环境中的适用性。

    May, 2024

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • LMMs 初探：与 GPT-4V (ision) 的初步探索

    通过分析最新的模型 GPT-4V，我们深入了解大型多模态模型（LMMs）的能力和特点，发现 GPT-4V 具有处理多种输入、具有广泛通用性的能力，以及通过理解图像上的视觉标记可以创造出新的人机交互方式。我们期望这项初步探索能够激发对下一代多模态任务形式、利用和增强 LMMs 以解决实际问题以及对多模态基础模型有更好理解的未来研究方向的启发。

    Sep, 2023

  • 语言引导的世界模型：一种基于模型的人工智能控制方法

    安装概率世界模型到人工智能代理中，为人类与控制这些代理打开了一个高效的交流途径；我们开发了一种名为语言引导的世界模型（LWMs），通过阅读语言描述来捕捉环境动态，提高了代理的通信效率，同时允许人类用简洁的语言反馈在多个任务中同时改变行为。该研究证明了当前最先进的 Transformer 架构在该基准测试上表现不佳，激励我们设计更强大的架构。通过模拟展示了我们提出的 LWMs 的实用性，使代理能够在执行前生成和讨论计划，增强了代理的可解释性和安全性，并使其在真实环境中的性能提高了三倍，而无需在该环境中进行任何交互式经验的收集。

    Jan, 2024

  • 通过将多模态视为外语来引导先进的大型语言模型

    本文提出了一种名为 X-LLM 的多模态语言模型，它将多种形式的信息转化为语言输入到 ChatGLM 中进行处理，实现了语言模型的多模态能力，具有与 GPT-4 相当的人工智能水平，同时还能用于语音识别和多模态语音识别。

    May, 2023