Jul, 2024
移情基础：使用多模交互和大型语言模型进行对话代理的探索
Empathic Grounding: Explorations using Multimodal Interaction and Large
Language Models with Conversational Agents
TL;DR我们介绍了在对话代理中引入“共情接地”概念，作为对克拉克对话接地概念的扩展，其中接地准则包括听者对说话者情感状态的共情。共情接地通常在说话者情绪突出时需要，通过传达提案和情感理解，可以使接地过程更高效可靠。说话者的情感表达和听者的共情接地可以是多模态的，包括面部表情和其他非语言展示。因此，用于具有身体化代理的共情接地模型应该是多模态的，以促进自然且高效的沟通。我们描述了一个多模态模型，该模型通过使用大型语言模型将用户的语音和面部表情作为输入，为听众代理生成多模态接地动作。我们还描述了一个用于评估共情接地方法的测试平台，在该平台上，一个人形机器人对用户关于过去疼痛经历的问题进行采访，然后用户对机器人的共情感知进行评分。我们在一个被试实验中将我们提出的模型与仅生成非情感接地线索的模型进行了对比。研究结果表明，共情接地可以增加用户对共情、理解、情商和信任的感知。我们的工作强调了情感意识和多模态在生成适当的对话代理接地动作方面的作用。