Mar, 2024

LLM 能生成类似人类的路线指引吗？迈向平台无关的具身指导综合

PDF
TL;DR我们提出了一种在多个仿真平台上生成 ' 类人 ' 指令的基于 LLM 的方法，该方法不依赖于任何形式的训练，通过少数参考即可使用上下文学习来生成指令。
wayfinding instructionsllminstruction synthesissimulation platformsplatform-agnostic
发现论文，激发创造
  • 人体物体交互：基于人类级别指令

    能够从人类级别的指示中同时合成对象运动、全身运动和手指运动的第一个完整系统。

    Jun, 2024

  • 新路径：使用合成指令和模仿学习扩展视觉语言导航

    利用 360 度全景数据生成的合成语音引导大型模拟数据集，使用模仿学习的简单 Transformer 模型，本文介绍了一种新的方式 —— 合成指令及大规模模仿学习来提高代理程序。

    Oct, 2022

  • AutoManual: 通过互动环境学习，由 LLM 代理生成指南手册

    通过自动生成规则和提高适应性，AutoManual 框架使基于大型语言模型（LLM）的代理能够自主构建自身的理解并适应新的环境。在 ALFWorld 基准任务上，通过 GPT-4-turbo 和 GPT-3.5-turbo，AutoManual 显著提高了任务成功率，并生成了人可读的综合手册。

    May, 2024

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • 利用神经机器翻译实现反强化学习导航指令生成

    该研究提出了一种导航指南模型，使机器人能够生成自然语言指令，帮助人们在事先未知的环境中进行导航，该模型使用人类演示数据通过反向强化学习训练决策策略，并通过神经序列到序列模型从自然语料库中生成自由形式的语句，实验测评表明，在与人类参考指令进行比较时，该方法获得了 72.18% 的 BLEU 分数，并且缩小了人类与机器人交互时的差距。

    Oct, 2016

  • 指导大型语言模型像人驾驶

    在自动驾驶中，复杂场景下的动作规划是核心挑战。本文提出了一种将大型语言模型 (LLMs) 转化为具有明确指令调整能力的运动规划器的 InstructDriver 方法，以对齐其行为与人类相符。通过基于人类逻辑与交通规则来生成驾驶指令数据，并采用可解释的 InstructChain 模块进行最终规划推理，实现了注入人类规则与学习驾驶数据的目标，使其具备可解释性与数据可扩展性。与现有的在封闭环或模拟设置中进行实验的方法不同，我们采用真实世界的封闭环动作规划 nuPlan 基准进行更好的评估。InstructDriver 在真实世界的封闭环设置中展示了 LLM 规划器的有效性。我们的代码在此链接公开可获得。

    Jun, 2024

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 以 LLMs 支持用户命令推理的面向人类的自主系统

    自动驾驶的进化取得了显著的进展，并成为了一个实际存在的现实。为了确保自动驾驶系统符合用户意图，准确辨别和解释用户指令尤其是在复杂或紧急情况下是至关重要的。为了实现这一目标，我们提出利用大型语言模型（LLMs）的推理能力，从车载用户的指令中推断系统需求。通过一系列实验，包括不同的 LLM 模型和提示设计，我们探索了通过自然语言文本指令从少量样本进行多元二值分类的精确度。我们确认 LLM 可以理解和推理提示，但强调其有效性取决于 LLM 模型的质量和适当的连续提示的设计。代码和模型可在以下链接找到：https://github.com/KTH-RPL/DriveCmd_LLM。

    Nov, 2023

  • 利用 LLMs 和语音指令在优先地形上进行约束的机器人导航：发挥副词的力量

    通过利用大型语言模型，该论文研究了使用生成 AI 进行无地图越野导航，从而减少对传统数据收集和注释的需求。通过将口头指令转换为文本，并使用大型语言模型提取地标、优选地形和关键副词来进行限制性导航的速度设置。通过语言驱动的语义分割模型生成基于文本的图像遮罩，以识别图像中的地标和地形类型。通过使用相机参数将 2D 图像点转换为车辆的运动平面，MPC 控制器可将车辆引导向所需地形。这种方法增强了对不同环境的适应能力，并便于使用高级指令导航复杂和具有挑战性的地形。

    Apr, 2024

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015