交互式代理基础模型
利用大型基础模型提高我们对开放环境中感知信息的理解，在 AI 研究中强调发展集成大型基础模型的代理人 AI，这一新兴领域涉及机器人技术、游戏和医疗等多种具身和基于代理的多模态交互，并讨论了代理人 AI 在各个领域和任务中展现出的能力，挑战我们对学习和认知的理解，通过跨学科视角探讨了代理人 AI 的潜力，并强调将其纳入科学讨论中，为未来的研究方向提供基础并促进更广泛的社会参与。
Feb, 2024
本篇论文提出了一种新型的人工智能生态系统，将基础模型与数百万 API 相连通以实现各种数字和实体任务，该方法主要利用基础模型作为中心系统，将这些 API 作为子任务解决器，以完成各种任务。
Mar, 2023
提出自我监督学习方法，用弱语义相关数据从互联网爬取数据进行预训练，快速适应不同下游任务的基础模型，该模型具有良好的想象能力，实现了从弱人工智能到强人工智能的跨越。
Oct, 2021
本文检查了基于决策制定的基础模型的范围，并提供了理解问题空间和探索新研究方向的概念工具和技术背景。通过各种方法，例如提示、条件生成建模、规划、最优控制和强化学习，审查了将基础模型用于实际决策制定应用的最近方法，并讨论了该领域的常见挑战和开放问题。
Mar, 2023
多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。
Jan, 2024
通过在强化学习代理中嵌入和利用语言模型和视觉语言模型的能力，我们设计了一个框架，将语言作为核心推理工具，能够处理一系列强化学习挑战，如有效的探索、重用经验数据、调度技能以及从观察中学习，从而改进了在模拟的机器人操作环境中的性能，并展示了如何利用学到的技能解决新任务或模仿人类专家视频。
Jul, 2023
决策制定需要通过知觉、记忆和推理之间的复杂相互作用来识别最优策略。本文提出基于基础代理的构建作为学习代理的一种变革性转变，旨在解决决策制定中面临的低样本效率和泛化能力差的挑战。通过从大型语言模型（LLMs）获得启示，明确了基础代理的基本特征和面临的挑战，以及从大规模的交互式数据收集或生成到自监督预训练和自适应，再到与 LLMs 的知识和价值对齐的基础代理的路线图。最后，指出了从提出的构想中得出的关键研究问题，并勾勒了基于真实世界用例支持的基础代理的趋势，旨在解决技术和理论方面的问题，推动该领域朝着更全面和有影响力的未来发展。
May, 2024
该文呈现了一种用于采矿最新大规模基础模型中的知识的具体想法，其目的是将低级技能学习扩展至规模化，从而实现授予通才机器人的基础模型，并享有在各种现实场景中执行多种任务的能力。
May, 2023
通过引入多模态基础世界模型，GenRL 代理学习框架能够将基础视觉语言模型的表示与生成式世界模型的潜在空间连接和对齐，从而克服了现有基础视觉语言模型在不同领域上的问题，并在多个运动和操作领域展现了强大的多任务泛化性能。此外，通过引入无数据强化学习策略，还为通用性的综合模型基于强化学习的全能代理奠定了基础。
Jun, 2024