turn-taking | BriefGPT - AI 论文速递

关键词turn-taking

搜索结果 - 10

检测法国电视和广播节目中口语互动中话语转换边界的方法
在自发交谈中，转换相关区域被定义为话语末尾，互动者可以在不打断当前说话者的情况下接过话语的地方，研究话语末尾性对于探索转换控制的动态非常有用。本文提出了一种自动分类多说话者环境中所述话语为终结式或非终结式的方法。我们在一个法语语料库的广播电
PDF22 days ago
语音和大型语言模型融合的交替对话和听众回应预测
我们提出了一种通过将神经声学模型与大型语言模型（LLM）融合的方法，连续预测口语对话中的交替和回应位置。在 Switchboard 人人对话数据集上的实验证明，我们的方法始终优于单模态的基线模型。我们还开发了一种新颖的多任务指令微调策略，以
PDF5 months ago
3M-TRANSFORMER：用于体现式交替预测的多级多轮多模态 Transformer
使用基于 Transformer 的新型多模态架构来预测具有多视角的、同步的交互数据中的轮替情况，在已引入的 EgoCom 数据集上进行实验，与现有的基线和替代基于 Transformer 的方法相比，平均性能显著提升了最高达 14.01%
PDF8 months ago
从书面对话向人类般的 AI 代理之间的口语对话生成迈进
该论文描述了 CHATS - CHatty Agents Text-to-Speech，这是一种基于书面对话生成口语对话的离散标记系统，通过仅使用说话方的转录，同时为说话方和倾听方生成语音，消除了对倾听方的转录需求，同时可以促进自然交谈的轮
PDF9 months ago
ACL响应条件的交替预测
本文提出一种模型，该模型将对话历史和下一个讲话者想要说的内容作为条件来预测对话的结束，比基线模型在各种指标上的表现更好。该模型可作为一个增量响应排名器，在各种场景中得到应用。
PDFa year ago
利用对比学习进行带门限的多模态融合，以预测人机对话中的轮流发言
本研究采集了一组大规模的多模式对话语料库，并设计了一种新的门控多模式融合机制来利用各种信息进行转换预测。为了解决数据不平衡问题，我们设计了一种简单且有效的数据增强方法，通过对比学习得到更好的特征表示。实验证明，我们的模型在多个方面表现优异，
PDF2 years ago
ICCV说话的权利：一种音视频变换器方法
本文介绍了一种新的音视频转换器方法，在自注意构造中利用不同类型的音视频相关性来预测和优化时空中的时序音视频关系以实现多人会话视频中主要发言者的本地化和突出显示，同时引入了新收集的数据集。
PDF3 years ago
ACLTurnGPT：基于 Transformer 的口语对话转换预测语言模型
本文介绍了 TurnGPT 语言模型，其通过使用对话的语境和完整性，能够更好地预测口语对话中的转向。我们展示了该模型在多种书面和口头对话数据集上的表现，并证明其胜过之前工作中使用的两个基线模型。此外，我们还研究了模型的各种特性，如注意力和梯
PDF4 years ago
使用多尺度 RNN 进行多模态连续交替预测
提出了一种多尺度 RNN 架构，用于在不同的时间尺度上模拟交谈中多个模态的特征，模拟语言和声音特征在不同的时间尺度上对于对话期间的特性建模是有益的，同时我们的方法还能够将凝视特征纳入到对话模型中。
PDF6 years ago
通过将检测演讲者意图作为次要任务来改善口语对话中的转折点检测
本文介绍了使用声学线索模型来理解对话者交替的研究，提出了一种多任务神经方法，同时预测转换转变和发言者意图，实验结果表明，使用发言者意图预测的辅助任务可以提高对话中转换转变的预测性能。
PDF6 years ago