Feb, 2024

基于基础模型的真实世界机器人应用：一综述

PDF
TL;DR通过对基础模型在真实世界机器人应用中替换现有组件的主要影响进行概述，本文总结了基础模型在机器人领域中输入输出关系的观点，以及它们在感知、运动规划和控制方面的作用，并讨论了未来挑战和对实际机器人应用的影响。
foundation modelslarge language modelsvision-language modelsroboticsreal-world applications
发现论文，激发创造
  • 基于基础模型的通用机器人：调查与元分析

    建立具有普适性的通用机器人系统一直是人工智能领域的长期目标。本研究调查了如何将自然语言处理（NLP）和计算机视觉（CV）领域的基础模型应用于机器人领域，并探讨了构建面向机器人的基础模型的可能形式，以及使用基础模型实现通用机器人系统所面临的主要挑战和未来方向。

    Dec, 2023

  • 基于自然语言的装配技术发展

    基于大型语言模型的全局控制策略结合了语言输入的解释和处理能力，为多样化和复杂的机器人操作丰富了控制机制。

    Jun, 2024

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • 自动驾驶中的基础模型调查

    该研究综述介绍了基础模型在自动驾驶中的应用，探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用，并提供了基于模态和功能对基础模型的分类，同时指出了现有模型与创新自动驾驶方法之间的差距，并提出了填补这些差距的未来研究方向和路线图。

    Feb, 2024

  • 大规模语言模型在机器人学中的应用：一项调查

    理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

    Nov, 2023

  • 大规模基础模型在自动驾驶中的应用

    通过将大语言模型（LLMs）与基础模型结合，利用人类知识、常识和推理，重新构建现有的自动驾驶系统，以改变当前的长尾人工智能困境。

    Nov, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 决策基础模型：问题、方法与机遇

    本文检查了基于决策制定的基础模型的范围，并提供了理解问题空间和探索新研究方向的概念工具和技术背景。通过各种方法，例如提示、条件生成建模、规划、最优控制和强化学习，审查了将基础模型用于实际决策制定应用的最近方法，并讨论了该领域的常见挑战和开放问题。

    Mar, 2023

  • 基于 Foundation Model 的系统设计框架

    本研究提出了一个基于基础模型的系统分类法，涉及预训练和微调，基于基础模型的系统的体系结构设计以及负责任的 AI-by-design。该分类法为基于基础模型的系统设计提供了具体的指南，并突出了设计决策带来的权衡。

    May, 2023

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024