Mar, 2023

FaceChat：一种情感感知面对面对话框架

PDF
TL;DR本文介绍了一种名为 FaceChat 的基于 Web 的对话框架，它通过自然语言处理、计算机视觉和语音处理等技术，实现了情感敏感性和面对面的对话，具有高度沉浸感和参与感，可用于咨询、情感支持和个性化客户服务等多个应用领域中。FaceChat 是一个简单灵活的平台，未来的研究者可以用其来推进多模态对话系统的发展。代码公开可用于这个 URL 链接。
dialogue systemsfacechatmultimodal interactionemotional intelligencenatural language processing
发现论文，激发创造
  • 情感识别和生成对话的统一框架

    本文提出了一种多任务框架，该框架联合识别对话的情感并根据所识别的情感生成响应，我们利用基于 BERT 的网络来创建一种共情系统，并使用混合目标函数来训练端到端网络，包括分类和生成损失函数，实验结果表明，我们的多任务框架优于现有的最先进模型。

    May, 2022

  • ChatGPT 是否具备情感对话能力？

    本研究基于由 OpenAI 研发的先进语言模型 ChatGPT，探讨了其情感对话能力。研究通过一系列下游任务实验，评估了 ChatGPT 在情感对话理解和生成方面的表现，并发现虽然 ChatGPT 在情感对话理解方面的性能仍然存在问题，但在生成情感回应方面表现良好。此外，本研究还提出了未来研究方向的可能性。

    Apr, 2023

  • 情感感知聊天机器：为类人情感互动生成自动情感响应

    本文通过提出统一的端到端神经架构，实现对发帖的语义和情感的编码，以生成智能回复和恰当表达情感，实验证明在内容连贯性和情感适当性方面优于现有方法。

    Jun, 2021

  • 情感聊天机器：利用内部和外部记忆的情感对话生成

    本文提出了 Emotion Chatting Machine（ECM），它可以生成不仅在内容（相关和语法）而且在情感（情感一致）上都恰当的响应。通过嵌入情感类别、捕捉内部情感状态的变化以及使用外部情感词汇，ECM 使用三种新机制来解决情感因素。实验表明，所提出的模型可以生成不仅在内容而且在情感上都恰当的响应。

    Apr, 2017

  • FurChat：基于 LLMs 的具身对话智能体，结合开放与封闭领域的对话与面部表情

    利用大型语言模型开发一个具有身体感应的对话机器人，可以作为接待员产生混合的开放和闭环式对话，并具备面部表情，通过自然对话与访问者进行互动，向他们提供有关设施、研究、新闻、即将到来的活动等信息。

    Aug, 2023

  • 面向目标的情感感知聊天机器

    本研究针对对话系统在生成人类化交互时响应的语义级别和情感级别一致性不足的问题，提出了一种统一的端到端神经架构，它能够同时编码一个帖子的语义和情感信息，并利用目标信息生成更智能、情感表达适当的响应。实验表明，这种方法在内容连贯性和情感恰当性方面优于现有技术。

    Nov, 2020

  • 基于深度神经网络的逼真面对面对话系统

    本文提出了一种基于序列到序列模型和基于生成对抗网络的真实人物合成器的创新面对面对话系统，该系统在 ESPN 节目数据上训练和评估显示出可以生成自然面部表情和逼真的面部图像。

    Aug, 2019

  • 直白真实对话：面对面交流的口语对话模型

    本研究介绍了一种新颖的面对面口语对话模型，利用用户输入的音频 - 视觉语音并生成回应的音频 - 视觉语音，旨在创建一种不依赖中间文本的化身聊天机器人系统，并引入 MultiDialog，这是第一个包含约 340 小时近 9000 个对话的大规模多模态（音频和视觉）口语对话语料库。

    Jun, 2024

  • 一种面对面的神经对话模型

    我们提出了一个新的神经会话模型，其不仅读取和生成文本信息，还能够识别和生成面部表情，以及基于对话中的情绪适应其响应。该模型采用 RNN 编码器 - 解码器架构，通过观察电影进行训练，并通过自动度量和人类研究展示了其生成更自然对话的能力。

    Dec, 2018

  • 利用异构图神经网络生成情感对话

    本文提出了基于异构图模型的情感对话生成方法，利用对话历史记录、情感流、面部表情、音频和说话人个性等多维信息来编码对话内容并生成适当情感的响应，实验结果表明，该方法可以有效地感知多源知识并生成令人满意的响应。

    Dec, 2020