Aug, 2023

利用大型語言模型開發具有共感非語言提示的社交機器人

PDF
TL;DR我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于 LLM 的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如 'joy' 和 'lively' 的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。
social robotsempathetic capacitiesnon-verbal cuesconversational systemhuman-robot interactions
发现论文，激发创造
  • 面向社交机器人的数据驱动情感身体语言生成

    采用深度学习生成模型来生成机器人情感表情，通过几个手动设计的机器人身体表达生成一个新的符合上下文感知的表达。评估结果表明，生成的表情与手动设计的表情没有显著差异，且能达到不同目标情绪的效果。

    May, 2022

  • 面向人机交互的大型语言模型：机遇与风险

    通过对大型语言模型在社交机器人中的潜力进行分析，本研究侧重于教育、医疗和娱乐等社交机器人的应用，并对这些语言模型如何安全地接受培训以 “理解” 社会规范和问题进行了研究，以期为其他有兴趣将语言模型融入机器人的研究人员提供有益指导。

    Mar, 2024

  • 使用 LLMs 生成饶有表情的机器人行为与桌面机器人 Haru 的对话

    通过将大型语言模型（LLMs）整合到社交机器人中，本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统，利用 LLMs 生成具有有表情的机器人回应，与机器人的个性一致。我们结合两种模式的机器人行为：1）具有多种表现风格的文本转语音（TTS）引擎，和 2）用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型，用于动态选择机器人的语调，并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验，我们研究和分析了他们的反馈，对聊天记录进行了严格的错误分析，以阐明设计和实现问题。反馈普遍积极，参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别（ASR）错误，这对对话的影响有限。然而，我们观察到了一类较小的错误，如 LLM 的自我重复或虚构信息和人类回答的产生，这可能会破坏对话，引发了 LLM 应用中的重要问题。

    Feb, 2024

  • 面向个性化情感交互的多模态社交机器人

    本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

    Oct, 2021

  • 同情始於微笑，智慧始於語言：在人機交互中使用多模態功能

    研究发现，人机面对面互动过程中的社交信号、语言特征、情感表达等特征与用户对机器人的印象有关；其中，用户面部表情的快乐程度与机器人的好感度强相关，而对话特征与机器人的智能感知有关。这些特征有望成为在线补偿信号，用于基于增强学习的自适应人机对话系统中。

    Jun, 2017

  • 让社交机器人处理社交线索，检测何时帮助用户

    本文提出一种基于社交线索的多模态融合方法，利用眼神和语言等社交线索实现实时的用户需求识别，这有助于社交机器人适应用户行为和喜好，从而提高用户体验。

    Oct, 2021

  • 大型语言模型如何促进更好的社交辅助人机交互：简要调查

    在本文中，我们对 LLMs 在 SAR 技术中的应用进行了简要调查，并讨论了将 LLMs 应用于 SAR 的三个主要技术挑战（自然语言对话、多模态理解和 LLMs 作为机器人策略）的潜力和风险。

    Apr, 2024

  • 人机交互中的非语言提示：传播学视角

    本文提出将非语言暗示转化为人机交互设计的解决方案，通过遵循沟通学的五个人类感官系统（视觉，听觉，触觉，嗅觉，味觉）的非语言暗示准则来实现。并论述了将这些准则应用到人机交互设计模式的设计中，并给出了研究方向，以推进人机交互领域的非语言沟通和改进人机沟通的方向。

    Apr, 2023

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023

  • Nadine: 一个由 LLM 驱动的具有情感能力和类人记忆的智能社交机器人

    本研究描述了我们开发的智能稳健的 Nadine 社交机器人平台的社交机器人系统，通过整合大型语言模型（LLM）并巧妙利用这类模型的强大推理和遵循指令能力，实现了高级的类人情感和认知能力。这一方法与目前的基于 LLM 的最新技术代理相比是新颖的，因为其没有实现类人长期记忆或复杂的情绪评估。我们构建了一个社交机器人系统，通过多模式输入处理实现生成适当行为，相应识别用户的情节性记忆并模拟机器人与人类伙伴互动导致的情绪状态。特别是，我们引入了一个 LLM 代理框架，SoR-ReAct，作为我们系统中互动模块的核心组件。这一设计推进了社交机器人的发展，旨在提高人机互动的质量。

    May, 2024