Dec, 2023

TypeFly: 大型语言模型飞行无人机

PDF
TL;DR用自然语言操控无人机不仅用户友好，还为新兴的语言代理控制无人机打开了大门。使用基于边缘视觉智能、新颖的编程语言设计和提示工程的系统 TypeFly，通过组合任务和场景描述，TypeFly 利用云端大型语言模型服务以一种小型自定义语言 MiniSpec 编写程序，在执行过程中还能利用查询技巧与语言模型进行交互，从而显著降低了 LLM 服务成本和任务执行时间，并大大提高了复杂任务的成功率。
drone controlnatural language interfacelarge language modelsminispecquery and prompt engineering
发现论文，激发创造
  • 基于大型语言模型的多无人机任务规划方法

    通过引入提示技术，本文提出了一种基于大型语言模型的多无人机快捷驱动任务规划方法，解决了多无人机系统中远程操作的复杂性和人机交互的便捷性等问题。

    May, 2024

  • 语言模型是航天器操作员

    基于大型语言模型 (LLM) 的代理机制在航天领域中发挥重要作用，首次将 LLM 代理引入航天研究，通过提示工程、少样本提示和微调技术开发了有效的 LLM 代理，并在挑战赛中获得第二名。

    Mar, 2024

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • LaMPilot：一个用于自动驾驶的开放基准数据集与语言模型程序

    我们提出了 LaMPilot，一个新颖的自主驾驶规划框架，将任务重新定义为一个利用已建立的行为基元的代码生成过程，旨在解决解释和执行 spontanous 用户指令（如 “超过前面的车”）的挑战，这通常对现有框架构成困难。我们介绍了 LaMPilot 基准，专门设计用于量化大型语言模型（LLMs）在将人类指令转化为可执行驾驶策略方面的效能。我们还在 LaMPilot 基准的任务上评估了一系列最先进的代码生成语言模型。实验结果显示，带有人类反馈的 GPT-4​​的任务完成率达到了 92.7％，最小碰撞率为 0.9％。为了鼓励进一步的研究，我们将提供代码和数据集。

    Dec, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • MLCopilot: 大型语言模型在解决机器学习任务中的应用

    本文介绍了一种利用 LLMs 自动学习生成机器学习解决方案的框架 MLCopilot，旨在将机器智能与人类知识相结合来提高解决新任务的能力，生成的解决方案可以直接应用于实际环境中。

    Apr, 2023

  • 3D-LLM：将三维世界注入大型语言模型

    我们提出了一种新的 3D-LLMs，将 3D 世界引入大型语言模型，并利用 3D point clouds 进行各种 3D 相关任务，通过我们设计的提示机制收集了超过 300k 的 3D 语言数据，实验证明我们的模型在 ScanQA 上的表现超过了最先进的基准方法，并在 3D 字幕、任务组合和 3D 辅助对话方面优于 2D VLMs。

    Jul, 2023

  • 利用 LLMs 和语音指令在优先地形上进行约束的机器人导航：发挥副词的力量

    通过利用大型语言模型，该论文研究了使用生成 AI 进行无地图越野导航，从而减少对传统数据收集和注释的需求。通过将口头指令转换为文本，并使用大型语言模型提取地标、优选地形和关键副词来进行限制性导航的速度设置。通过语言驱动的语义分割模型生成基于文本的图像遮罩，以识别图像中的地标和地形类型。通过使用相机参数将 2D 图像点转换为车辆的运动平面，MPC 控制器可将车辆引导向所需地形。这种方法增强了对不同环境的适应能力，并便于使用高级指令导航复杂和具有挑战性的地形。

    Apr, 2024

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 以 LLMs 支持用户命令推理的面向人类的自主系统

    自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。

    Nov, 2023