Mar, 2024

协助还是不协助：基于 LLM 的专注支持人机群体互动

PDF
TL;DR在人类群体中，如何让机器人提供不显眼的物理支持？我们提出了 “Attentive Support” 这一新的机器人交互概念，它结合了场景感知、对话获取、情境理解和行为生成等技术以及大型语言模型的常识推理能力。除了按照用户指令，Attentive Support 还能决定何时以及如何支持人类，并且在不干扰群体的情况下保持沉默。通过多种情景的展示和评估，我们展示了机器人的专注行为，它在需要时给予人类支持和帮助，在不需要帮助时不干扰。
发现论文，激发创造
  • 大型语言模型驱动的积极人机协作意图跟踪 —— 机器人助理厨师应用

    利用大型语言模型和视觉语言模型，提出基于语言的意图跟踪（LIT）方法，用于预测人类用户的下一个意图以引导机器人进行主动的协作，实现长期协作任务中机器人和人类用户之间的顺畅协调。

    Jun, 2024

  • 以细微之处增强基于 LLM 的人机交互，以提升多样性意识

    通过利用大规模语言模型的能力，本文提出了一套针对多样化感知的自主对话系统，该系统适应不同人群和个体，考虑到背景、个性、年龄、性别和文化等因素，对话过程由系统预设的知识库架构引导，并利用语言模型生成多样化感知的句子，通过提供精心设计的提示，融合了关于用户、对话历史、语境细节和具体指导的综合信息。我们进行了受控实验和现实世界实验来评估系统的性能，测量了一系列性能指标。

    Jun, 2024

  • VoicePilot: 利用语言模型作为机器人辅助的语音界面

    通过结合大规模语言模型作为语音界面，我们提出了一个框架，用于将大规模语言模型应用于物理辅助机器人，以实现高水平任务规划和代码生成，并通过实证研究为物理辅助机器人的语音界面设计提供指导。

    Apr, 2024

  • 使用 LLMs 生成饶有表情的机器人行为与桌面机器人 Haru 的对话

    通过将大型语言模型（LLMs）整合到社交机器人中，本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统，利用 LLMs 生成具有有表情的机器人回应，与机器人的个性一致。我们结合两种模式的机器人行为：1）具有多种表现风格的文本转语音（TTS）引擎，和 2）用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型，用于动态选择机器人的语调，并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验，我们研究和分析了他们的反馈，对聊天记录进行了严格的错误分析，以阐明设计和实现问题。反馈普遍积极，参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别（ASR）错误，这对对话的影响有限。然而，我们观察到了一类较小的错误，如 LLM 的自我重复或虚构信息和人类回答的产生，这可能会破坏对话，引发了 LLM 应用中的重要问题。

    Feb, 2024

  • 作为零样本人类模型的大型语言模型用于人机交互

    本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

    Mar, 2023

  • 通过与大型语言模型的自然交互增量学习机器人行为

    在这篇论文中，我们提出了一种通过自然交互实现复杂行为的增量学习系统，并在一个人形机器人上进行实现。我们利用大型语言模型（LLMs）对机器人行为进行高层次编排，通过在交互控制台中生成 Python 语句来调用机器人的感知和动作，实现交互循环，通过人类指令、环境观测和执行结果反馈给 LLM 来生成下一个语句，从而实现了通过交互学习改进机器人行为的目的。

    Sep, 2023

  • 将苹果与橙子进行比较：在物体分类任务中使用 LLM 强化的多模态意图预测

    应用大型语言模型进行人机交互中人类意图推断的 hierarchical 方法评估

    Apr, 2024

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示 GPT-4 在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024