Apr, 2023

为反馈预测建立演讲者 - 听众交互模型

PDF
TL;DR本文提出一种新颖的后发模型，模拟了英语中 Yeah 和 Uh-huh 以及德语中的对应标记的最小响应的使用，通过处理讲话者语音的声学特征，捕捉和模仿听众的后发行为，并编码演讲者 - 听众交互，提出了一种基于神经网络的声学后发分类器。通过在 Switchboard 和 GECO 数据集上的实验，我们的研究表明，在几乎所有测试场景中，演讲者或听众行为嵌入有助于模型进行更准确的后发预测。更重要的是，一种适当的交互编码策略，即结合演讲者和听众嵌入，能够在 F1-score 方面在两个数据集上实现最佳性能。
backchannel modelingminimal responsesneural-based acoustic classifierspeaker-listener interactionf1-score
发现论文，激发创造
  • 基于 ASR 转录的倾听者感知反馈预测器

    该论文探讨了对话中后接点的建模方法，并提出了一个主动式听众系统，旨在通过插入连续器和评估等后接点来影响发言人，实验结果表明声学线索比词汇线索更重要，以及将听众嵌入与音频特征相结合效果最佳。

    Apr, 2023

  • 利用 Transformer 网络从视频中检测 Backchannel 并估算一致性

    本文研究使用多模态 transformer 架构，基于身体姿势和面部信息进行自动后向反馈分析的目标检测和表达同意的任务，达到了 66.4％的检测准确率，并在表达同意的任务上创造了新的最佳成果（0.0604 MSE）。

    Jun, 2023

  • 语音和大型语言模型融合的交替对话和听众回应预测

    我们提出了一种通过将神经声学模型与大型语言模型（LLM）融合的方法，连续预测口语对话中的交替和回应位置。在 Switchboard 人人对话数据集上的实验证明，我们的方法始终优于单模态的基线模型。我们还开发了一种新颖的多任务指令微调策略，以进一步从 LLM 编码的知识中获益，以理解任务和对话语境，从而带来额外的改进。我们的方法展示了结合 LLM 和声学模型在人类和语音启用的 AI 代理之间实现更自然和对话式交互的潜力。

    Jan, 2024

  • 学习为具有情境感的内化 AI 代理生成背景微笑，在心理健康对话中应用

    通过使用基于关键预测因素的注意力生成模型，我们提出在体验式代理人中引入背后微笑产生作为一种生成问题，以改善代理人建立情感联系的能力，并且通过用户研究验证，拥有背后微笑的代理人在非个人对话中被认为更加人性化且更具吸引力。

    Feb, 2024

  • 口语对话中上下文和反馈嵌入的联合学习

    通过对话语境和反馈响应进行对比学习，本文研究了将其嵌入到相同表示空间的可能性。通过使用嵌入模型评估其在美式英语对话中作为上下文 - 反馈适当性度量和反馈响应排序的效果，结果表明该模型在相同排序任务上优于人类，且学习到的嵌入包含了反馈响应的会话功能信息。

    Jun, 2024

  • 基于角色的神经对话模型

    本文介绍了基于人物角色的模型来处理神经响应生成中的发言人的一致性问题。这些模型在分布式嵌入中编码人物角色，以捕捉个体特征，如背景信息和口语风格。在两个交流者之间捕捉交互属性的暂态发言人 - 被称呼者模型。我们的模型提高了感性和 BLEU 得分，在发言人的一致性上也有类似的提高。

    Mar, 2016

  • 贝叶斯回音室：通过语言调整建模社交影响

    介绍了一种新的贝叶斯生成模型 —— 贝叶斯回音壁，用于社交互动数据。模型能够模拟人们语言使用随时间的演变，并发现这些人之间的潜在影响关系，其与以往研究不同之处，在于其能够捕捉到更微妙的影响关系，通过互动内容中的语言适应模式来表现。通过使用美国最高法院的争论记录和电影《愤怒的董事会》作为验证，证明该模型发现潜在影响模式的能力，同时在联邦公开市场委员会会议记录中推断潜在影响模式，展示了其在揭示团体讨论中的社交动态方面的技术水平。

    Nov, 2014

  • 从 “嗯” 到 “是的”：人类对话中的信息生成、预测和调控

    使用大型语言模型研究英语对话的大规模数据集，提供了关于非结构化对话信息密度的新估计，以及涉及检索和呈现信息的认知负荷的显著效应，同时揭示了后导评价词在调节新颖性产生中的作用。我们的研究结果为我们如何应对认知资源波动的长期理论和与他人合作应对这些需求的方式提供了新的见解。

    Mar, 2024

  • 利用自动会话评估器实现连贯和引人入胜的口语对话响应生成

    本研究提出一个评估聊天机器人响应的系统，利用明确的反馈机制改进神经响应图生成模型，从而获得更具连续性和参与度的响应。

    Apr, 2019

  • 多方对话中神经说话人建模：任务、数据集和模型

    本文主要探讨了基于神经网络的对话系统中说话者建模的重要性问题，提出将说话者分类作为通用说话者建模的代理任务，并收集大量数据以支持这个方向的研究，进一步研究了基于时间和基于内容的说话者模型，并提出了几种混合模型。实验结果表明，说话者分类是可行的，混合模型表现优异。

    Aug, 2017