本文提出了一种零样本适应情绪可控 TTS 模型 ZET-Speech，旨在实现对任何说话者情感语音的合成，采用了域对抗学习和扩散模型的引导方法，实验结果表明，ZET-Speech 成功地合成了所需情感的自然和情感语音，适用于已知和未知说话者。

May, 2023

本文通过提出统一的端到端神经架构，实现对发帖的语义和情感的编码，以生成智能回复和恰当表达情感，实验证明在内容连贯性和情感适当性方面优于现有方法。

Jun, 2021

本研究提出一种新的情感文本转语音框架，通过量化不同情绪之间的差异，训练模型并控制模型在运行时生成所需的情感混合，实现了语音情感合成研究中的情感混合模拟。

Aug, 2022

该论文描述了 CHATS - CHatty Agents Text-to-Speech，这是一种基于书面对话生成口语对话的离散标记系统，通过仅使用说话方的转录，同时为说话方和倾听方生成语音，消除了对倾听方的转录需求，同时可以促进自然交谈的轮换和流畅对话的生成。

Oct, 2023

闪电语音是一种大规模零样本语音合成系统，使用比之前的方法推理时间约占 5％，具有高音质和高相似性的性能，同时实现了语音处理的多样性。

Apr, 2024

将机器赋予说话的能力一直是人工智能研究的长期追求。通过对语义意义和情感表达范围进行准确合成，我们正处在实现这一目标的边缘。本文概述了让我们取得如此成果的方法学进展，并勾勒了达到人工表达能力的下一个层次的不断努力。同时，我们还探讨了快速发展的表达性语音合成（ESS）技术的社会影响以及降低风险和确保 ESS 能力与道德规范对齐的方法。

Apr, 2024

零样本文本朗读 (TTS) 建模的最新进展在生成高保真和多样化的语音方面取得了重大进展。然而，在实现人类自然性的语音中实现对话生成仍然是该领域的一个挑战。在这篇论文中，我们介绍了一种名为 CoVoMix 的新型模型，用于零样本、人类化、多发言人、多轮对话语音生成。CoVoMix 首先将对话文本转换为多个离散令牌流，每个令牌流代表单个发言人的语义信息。然后，将这些令牌流输入基于流匹配的声学模型，以生成混合的 mel 频谱图。最后，使用 HiFi-GAN 模型生成语音波形。此外，我们设计了一套全面的度量标准来衡量对话建模和生成的效果。我们的实验结果表明，CoVoMix 能够生成自然性和连贯性非常类似于人类的对话，还包括多个发言人参与多轮对话。这些在单个通道内生成的对话以流畅的语音过渡为特点，包括重叠的语音和适当的语言行为，如笑声。音频样本可在此 https URL 查看。

Apr, 2024

本研究提出了一种基于情感上下文的语言建模方法，可以更有效地考虑语言生成过程中的情感内容。使用 Empathetic-Dialogues 语料库进行实验，相较于现有方法，本方法在困惑度指标上提高了 5 个百分点，并获得了更高的 BLEU 指标分数。

Nov, 2019

本文提出了一种智能虚拟助手，可通过情感语义解释人类语音情感， 并且通过声音风格转移和人工生成方法生成特定情感的声波，使得与之互动的人有更好的体验。

Apr, 2023

本文提出了一种基于神经网络的两阶段对话模型，通过从语义和情感角度对话生成，不需要大量情感标注数据。实验表明，该模型在情感生成方面优于其他比较模型，并在语义性能上保持一致性。

Jan, 2023