Mar, 2022

利用ERIK将任务相关的表现力编码到自主社交机器人的动画中：前卫的萨蒂！

HTML
PDF
TL;DRERIK是一种表达负向动力学技术，已经在算法上和有限的用户交互场景中得到了评估。它允许自主的社交机器人在注视着用户时传达基于姿态的表达信息，并通过实验表明，ERIK可以通过其非语言表现形式完全引导用户在执行给定任务时作出选择。
发现论文，激发创造
  • 让社交机器人处理社交线索，检测何时帮助用户

    本文提出一种基于社交线索的多模态融合方法，利用眼神和语言等社交线索实现实时的用户需求识别，这有助于社交机器人适应用户行为和喜好，从而提高用户体验。

    Oct, 2021

  • 教授机器人跨越功能表达动作空间

    本文主要介绍了通过学习情感空间映射来实现机器人在情感任务中的表现，通过用户反馈的学习方式，实现深度学习每个情感的代价函数，并将其映射到情感空间上，从而可以将用户反馈用于学习所有情感，生成各种情感的轨迹并做出相应表现。本文提出的方法已在多个测试实验中得到应用和验证。

    Mar, 2022

  • 利用大型語言模型開發具有共感非語言提示的社交機器人

    我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于LLM的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如'joy'和'lively'的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。

    Aug, 2023

  • HandMeThat：物理和社交环境中的人机通信

    通过HandMeThat数据集，我们评估了指令理解和遵循在物理和社会环境下的全面表现，结果显示离线和在线强化学习算法在HandMeThat上表现不佳，说明在物理和社会人机通信和交互方面有很大的改进空间。

    Oct, 2023

  • Habitat 3.0：人类、化身和机器人的共居空间

    Habitat 3.0是一个模拟平台，用于研究家庭环境中协作人机任务。

    Oct, 2023

  • 大型语言模型是否与人类的社会直觉对人机交互保持一致？

    本研究探索了大型语言模型在人机交互领域的表现，对比实际参与者的答案，结果显示GPT-4在选择适当的沟通行为和评判行为可取性、意图和令人惊讶程度等方面表现较好，但在判断人机行为差异方面成绩不佳，同时指出视觉模型无法完全抓住视频刺激的本质，且大型语言模型对不同沟通行为的评分和行为可取性分数较高。

    Mar, 2024

  • 通过头部姿态估计进行预判：一项初步研究

    本研究针对人际互动中的目标和意图预判能力的不足，提出通过头部姿态作为视觉线索来理解和预判动作目标的创新方法。研究表明，通过对头部、手部与场景中物体的时空关系进行推理，可以实现短距离的预判，为未来的人机交互应用奠定基础。

    Aug, 2024

  • 具身-RAG：通用非参数具身记忆用于检索和生成

    本研究解决了现有检索增强生成（RAG）技术无法直接适用于具身领域的问题。提出的具身-RAG框架通过建立非参数记忆系统，允许具身代理自主构建层次化知识以支持导航和语言生成。实验表明，该框架能够高效处理各种查询，展示了其在具身代理中的广泛应用潜力。

    Sep, 2024

  • 具身式检索增强生成：通用非参数具身记忆用于检索与生成

    本研究解决了现有检索增强生成技术在具身领域中的适用性不足问题。提出的具身-RAG框架通过非参数记忆系统增强具身代理的基础模型，能够自主构建层次化知识，处理多种导航和语言生成任务。研究表明，该框架有效连接了检索增强生成与机器人领域，展示了其在多个环境中的广泛应用潜力。

    Sep, 2024

  • 具身RAG：通用非参数具身记忆的检索与生成

    本文解决了现有检索增强生成技术无法直接适应具身领域的问题。提出了一种新的框架“具身RAG”，通过非参数记忆系统增强具身智能体的基础模型，以层级方式构建导航和语言生成知识。研究表明，“具身RAG”成功处理了多种环境中的解释和导航查询，展示了其在具身智能体中的广泛应用潜力。

    Sep, 2024