May, 2022

通用智能体

PDF
TL;DR本研究基于大规模语言模型的进展，采用类似方法构建了一个跨越文本输出领域之外的单一通用智能体，称为 Gato，它作为一个多模态、多任务、多具象化的通用策略工作。相同的网络和相同的权重可以同时用于打 Atari 游戏、描述图像、聊天、使用真实机器人臂堆叠积木等任务，根据情境决定是否输出文本、关节扭矩、按键按下或其他词汇，并在本文中描述该模型和数据，并记录 Gato 的当前能力。
generalist agentmulti-modalmulti-taskmulti-embodimentlanguage model
发现论文，激发创造
  • 学习动态信念图以推广文本游戏

    通过使用端到端学习的图形结构表示，我们提出一种新颖的图形辅助转换器代理（GATA），并探究其如何计划和推广文本游戏，并证明学习到的基于图形的表示有助于代理人收敛到比纯文本模型更好的策略，促进游戏配置的有效推广。

    Feb, 2020

  • RoboCat：面向机器人操控的自我改进基础代理

    提出了一个基于视觉目标调节的决策转换器，命名为 RoboCat，它能够消耗多体验行为标记的视觉经验，用于机器人操作的基础模型，并展示了模型对新任务和机器人的泛化能力，并可用于生成下一轮训练集的数据。

    Jun, 2023

  • 三维环境中的具身综合应用智能体

    利用大规模知识和学习方案以及大型语言模型（LLM），最近的机器学习模型在构建通用性代理人方面取得显著成功，表现出在不同领域（包括自然语言处理、计算机视觉和机器人技术）解决通用任务的能力。然而，这些模型在理解和与三维世界交互方面仍存在显著挑战。我们认为这一限制显著阻碍了当前模型执行现实世界任务和进一步实现通用智能的能力。为此，我们提出了一种根植于三维世界中，并具有多模态和多任务的通用代理人，其在感知、根据、推理、规划和行动方面表现出色。我们的提出的代理人，称为 LEO，在两个阶段进行训练：（一）三维视觉语言对齐，（二）三维视觉语言行动指导调整。为了促进训练，我们细致地策划并生成统计规模和复杂性的物体级和场景级多模态任务的大规模数据集，需要对三维世界进行深入的理解和交互。通过严格的实验证明了 LEO 在广泛任务范围中的出色能力，包括三维字幕、问题解答、根植式推理、根植式导航和机器人操作。我们的消融实验结果进一步为未来根植式通用代理的发展提供了有价值的见解。

    Nov, 2023

  • 多游戏决策转换器

    本研究探讨了采用 transformer-based model 方法训练的多用途强化学习代理程序在 Atari 游戏中的表现，发现使用 Multi-Game Decision Transformer 模型的性能和可伸缩性最佳，并提供预训练模型和代码以鼓励该方向的进一步研究。

    May, 2022

  • Octopus v3: 在设备上的亿级多模态人工智能代理的技术报告

    多模态 AI 代理通过处理和学习来自自然语言、视觉和音频输入的各种数据来指导行动，但将基于图像的数据转换为可操作结果仍然具有挑战性。本文介绍了一种多模态模型，其中包含专门为 AI 代理应用设计的功能令牌的概念，并优化为小于 1B 参数的紧凑尺寸，能够在各种边缘设备上高效运行，包括树莓派。

    Apr, 2024

  • AvatarGPT: 综合框架用于动作理解、规划、生成及其他领域

    AvatarGPT 是一个全能的运动理解、规划、生成等任务的框架，以及基于 LLM 的动作中间合成等其他任务，通过语言作为通用接口，构成一个闭环。通过将人类运动序列编码为离散的标记，并开发一个无监督的管道来从野外视频中生成人类行动序列的自然语言描述，最终实现了各个任务的联合训练。广泛的实验证明，AvatarGPT 在低级任务上达到了最先进水平，在高级任务上取得了有希望的结果，证明了我们提出的全能框架的有效性。此外，AvatarGPT 首次实现了通过闭环内的任务迭代遍历进行无限长运动合成的原则性方法。

    Nov, 2023

  • 多用途转换器代理：无所不能，有所专长

    多领域机器学习研究中一直存在着寻找一种通用模型的需求，本研究提出了 Jack of All Trades（JAT）模型，通过独特的设计和优化能够处理连续决策任务和多模态数据类型，并在强化学习、计算机视觉和自然语言处理等领域展现出卓越性能和多样性。该模型的开源意味着对构建通用跨领域人工智能模型的重要迈进。

    Feb, 2024

  • 交互式代理基础模型

    提出了一种交互式代理基础模型，采用新颖的多任务代理训练范式，实现了跨领域、数据集和任务训练 AI 代理的能力，展示了其在机器人技术、游戏 AI 和医疗保健领域的性能，支持多模态和多任务学习。

    Feb, 2024

  • ChatGPT：全才，非专才

    本文研究了 ChatGPT 在 25 个多样化的自然语言处理任务（如情感分析、情感识别、态度检测、自然语言推断、词义消歧、语言可接受性和问答）中的表现及其个性化响应能力，并与现有的国际先进水平（SOTA）解决方案进行了比较。结果表明，任务难度越高（低 SOTA 表现），ChatGPT 的损失越大。同时也揭示了 ChatGPT 偏见，在一定程度上限制了 ChatGPT 的有效性。

    Feb, 2023

  • DoraemonGPT: 面向理解动态场景的大型语言模型

    通过大型语言模型驱动的 DoraemonGPT 系统，我们能够处理动态视频任务，利用空间 - 时间查询和推理工具进行简洁而相关的中间结果，同时通过蒙特卡洛树搜索驱动的规划器高效探索大规模计划空间，并以多种解决方案总结出改进的最终答案。在各种复杂问题的评估中，DoraemonGPT 展示了比以往研究更强大的能力。

    Jan, 2024