Dec, 2022

情感可选的端到端基于文本的语音编辑

PDF
TL;DR本文旨在为基于文本的语音编辑任务中生成带有情感效果的语音提供一种新方法，我们提出了 Emo-CampNet 模型，它可以根据上下文的情况引入额外的情感属性，以控制所生成语音的情感。此外，我们还提出了数据增强方法和一种去除原始语音情感的中性内容生成器，以丰富模型的训练集并避免情感干扰。实验结果表明 Emo-CampNet 模型可以有效地控制语音情感并编辑无标记说话人的语音。
text-based speech editingemotion controlcampnetdata augmentationgenerative adversarial framework
发现论文，激发创造
  • CampNet：基于上下文的端到端文本语音编辑中的掩码预测

    该论文提出了一种新的基于文本的语音编辑方法，称为具有上下文感知的掩蔽预测网络（CampNet），该模型可通过随机屏蔽语音的一部分来模拟文本编辑过程，并通过感知语音上下文预测遮蔽区域。此外，论文还提出了三种基于 CampNet 的文本编辑操作：删除、插入和替换，以覆盖各种语音编辑场景，并通过使用仅一句话的说话人自适应方法和基于 CampNet 的少量样本学习探索了语音伪造任务 。经过主观和客观实验，发现基于 CampNet 的语音编辑结果比 TTS 技术、手动编辑和 VoCo 方法更好。

    Feb, 2022

  • EmoSpeech：引领 FastSpeech2 朝向情感文本朗读技术的方向

    本文探讨了在 FastSpeech2 的基础上如何通过更改结构实现情感语音的合成，并且在自动和人体评估中， 创造了 EmoSpeech 模型，该模型的 MOS 得分和情感识别准确性均超过了现有模型。

    Jun, 2023

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • EmoTalker: 通过扩散模型生成情感可编辑的说话脸部

    提出了基于扩散模型的 EmoTalker 方法，该方法能够在生成高质量的、可定制的面部表情时，保留原始肖像的身份特征，通过引入 Emotion Intensity Block 对来自提示的细粒度情绪进行分析和提取，从而增强了对文本输入的情感理解。

    Jan, 2024

  • 利用自然语言提示控制语音合成中的情感

    我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统，通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练，并在每次训练迭代中变化提示信息，以增加模型的泛化能力。客观和主观评估结果表明，该条件合成系统能够准确地将提示中的情感转移到语音中。同时，保持了发言者身份的精确可追踪性以及整体的高话语质量和可理解性。

    Jun, 2024

  • ZET-Speech：基于扩散和基于风格的模型的零样本自适应情感可控语音合成

    本文提出了一种零样本适应情绪可控 TTS 模型 ZET-Speech，旨在实现对任何说话者情感语音的合成，采用了域对抗学习和扩散模型的引导方法，实验结果表明，ZET-Speech 成功地合成了所需情感的自然和情感语音，适用于已知和未知说话者。

    May, 2023

  • 混合情感语音合成

    本研究提出一种新的情感文本转语音框架，通过量化不同情绪之间的差异，训练模型并控制模型在运行时生成所需的情感混合，实现了语音情感合成研究中的情感混合模拟。

    Aug, 2022

  • EmoSpeaker：一次性精细情感控制的说话人脸生成

    通过引入细粒度情绪控制和音频分离模块来实现精确表达细致情绪状态的面部动画生成，有效控制情感表达并提高生成视频的表达变化和嘴唇同步性能。

    Feb, 2024

  • 音频驱动的说话人生成的高效情绪适应

    通过参数高效的调整，情感适应音频驱动的说话头（EAT）方法可以有效地将无情感的说话头模型转换为可控情感的模型，从不同的角度引入三种轻量级适应方式，实现精确而逼真的情感控制，并在广泛应用的基准测试中取得了最先进的性能表现。

    Sep, 2023