ACLJun, 2017

同情始於微笑，智慧始於語言：在人機交互中使用多模態功能

PDF
TL;DR研究发现，人机面对面互动过程中的社交信号、语言特征、情感表达等特征与用户对机器人的印象有关；其中，用户面部表情的快乐程度与机器人的好感度强相关，而对话特征与机器人的智能感知有关。这些特征有望成为在线补偿信号，用于基于增强学习的自适应人机对话系统中。
social signalshuman-robot interactionfacial expressionprosodydialogue characteristics
发现论文，激发创造
  • 面向个性化情感交互的多模态社交机器人

    本研究采用强化学习方法建立了一个多模态情感交互框架，利用人类用户的情感状态作为交互的奖励因素，优化了机器人的行为策略，并针对用户进行个性化情感交互来增强社交场景下机器人的自然性和吸引力。

    Oct, 2021

  • 利用大型語言模型開發具有共感非語言提示的社交機器人

    我们提出通过整合非语言提示来增强社交机器人的共情能力。我们的主要贡献是设计和标记了四种共情的非语言提示：语音、行动（手势）、面部表情和情绪，用于社交机器人中。这些提示是利用大型语言模型（LLM）生成的。我们为机器人开发了基于 LLM 的对话系统，并评估其与人类咨询师定义的社交提示的一致性。初步结果表明，机器人的回应呈现出明显的模式，如对平静和积极社交情绪如 'joy' 和 'lively' 的偏好以及频繁点头示意。尽管存在这些倾向，我们的方法已经导致开发出了能够感知上下文并进行更真实互动的社交机器人。我们的工作为未来关于人机交互的研究奠定了基础，强调了在创建社交和共情机器人方面，语言和非语言提示的重要作用。

    Aug, 2023

  • 情感社交人形智能系统

    本文提出了一种智能虚拟助手，可通过情感语义解释人类语音情感， 并且通过声音风格转移和人工生成方法生成特定情感的声波，使得与之互动的人有更好的体验。

    Apr, 2023

  • 人机交互中拟人化感知的实时度量方法研究

    研究了人类与机器人面部交互的音响 - 语调协调程度，发现主观和客观对人形化的感知程度与音声 - 语调协调程度呈正相关。

    Jan, 2022

  • 面向社交机器人的数据驱动情感身体语言生成

    采用深度学习生成模型来生成机器人情感表情，通过几个手动设计的机器人身体表达生成一个新的符合上下文感知的表达。评估结果表明，生成的表情与手动设计的表情没有显著差异，且能达到不同目标情绪的效果。

    May, 2022

  • 环境变化对情感面部表达识别的影响：光照限制下的情感识别

    本文采用机器学习中的深度学习模型，结合 FaceChannel 框架研究了不同图像条件对基于面部表情的情绪识别的影响，这对于确保机器人在不同环境下保持一致的识别水平非常重要。

    Oct, 2022

  • 面向社交的对话机器人的客观评估：通过多模式用户行为评估人类相似度

    本研究针对评估社交情境对话机器人的挑战性任务，提出了一种依赖于多模态用户行为的新型客观评估方法，主要关注评估机器人的人类化程度作为主要评估指标，通过观察用户行为间接评估机器人的人类化程度，提高了客观性和可重复性，并且通过创建一个带有人类化程度得分的标注数据集，运用在一个专注听力对话语料中找到的用户行为进行了相关性分析，证明了我们提出的基于行为的评估方法的可行性。

    Aug, 2023

  • 追求共情的人机交互

    通过使用信号处理技术、情感分析和机器学习算法，我们提出了一个名为 Zara 的超级女孩的原型系统，通过学习和收集更多的数据，它可以越来越聪明、更有共情能力，并提出了深度学习情感和情感识别以及幽默识别领域的工作。

    May, 2016

  • 推断用户在导航场景中对机器人表现的印象

    我们研究使用非语言行为线索和机器学习技术来预测人们对机器人行为的印象，通过观察类型的不同组合以及人类和监督学习技术的预测能力分析发现，面部表情和空间特征对人类对机器人表现的印象有用，而导航场景中的空间特征是这种推断任务中最关键的信息。在二元分类中，人类预测和机器学习模型的 F1 分数提高了一倍以上，表明它们在判断机器人表现的方向性上比精确预测性能评级更好。基于我们的研究结果，我们提供了在真实导航场景中实施这些预测模型的指南。

    Oct, 2023

  • 让社交机器人处理社交线索，检测何时帮助用户

    本文提出一种基于社交线索的多模态融合方法，利用眼神和语言等社交线索实现实时的用户需求识别，这有助于社交机器人适应用户行为和喜好，从而提高用户体验。

    Oct, 2021