spoken dialogue | BriefGPT - AI 论文速递

关键词spoken dialogue

搜索结果 - 5

推动大型语言模型在口语对话中捕捉多样的言谈风格并作出恰当回应
在口语对话中，即使两个当前对话相同，它们的回应在不同的语言风格中可能仍然不同。这篇论文提出了一种 Spoken-LLM 框架，旨在教导 LLMs 理解和适当回应不同的语言风格，并使用 StyleTalk 数据集进行训练，通过两个阶段的训练使
PDF4 months ago
语音和大型语言模型融合的交替对话和听众回应预测
我们提出了一种通过将神经声学模型与大型语言模型（LLM）融合的方法，连续预测口语对话中的交替和回应位置。在 Switchboard 人人对话数据集上的实验证明，我们的方法始终优于单模态的基线模型。我们还开发了一种新颖的多任务指令微调策略，以
PDF5 months ago
AudioGPT：理解与生成语音、音乐、声音和说话人头像
本文提出了一种名为 AudioGPT 的多模 AI 系统，该系统结合了基础模型来处理复杂的音频信息和解决许多理解和生成任务，以及支持口语对话的输入 / 输出接口（ASR，TTS），并通过一系列实验证明了 AudioGPT 在多轮对话中具有语
PDFa year ago
韵律特征提高句子分割和分析
本研究旨在探究语调在非分段语音解析中的作用。在英语 Switchboard 语料库的实验中，我们发现语调对模型的解析性能和句子边界识别准确性有所帮助，但最佳解析器并不一定产生最佳句子分割性能，最佳解析来自于将句子边界与其他成分边界联合建模。
PDFa year ago
基于言语风格潜在表示的端到端文本转语音技术：基于自然对话的研究
本研究旨在实现一种接近于人类对话的 TTS，通过基于 VAE/GMVAE-VITS 的训练，利用上下文信息来综合预测所需样式的语音合成，实验结果表明，该方法在对话级别的自然度方面优于原本的 VITS。
PDF2 years ago