Jun, 2024

利用自然语言提示控制语音合成中的情感

PDF
TL;DR我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统，通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练，并在每次训练迭代中变化提示信息，以增加模型的泛化能力。客观和主观评估结果表明，该条件合成系统能够准确地将提示中的情感转移到语音中。同时，保持了发言者身份的精确可追踪性以及整体的高话语质量和可理解性。
promptinggenerative machine learning modelsemotionally rich texttransformer-based architectureconditioned synthesis system
发现论文，激发创造
  • 情绪条件下的文本生成通过自动提示优化

    我们提出了首个自动提示优化方法，用于以情绪为条件的文本生成，使用一个迭代的优化过程通过添加、删除或替换标记来改变提示。通过将生成的文本中的情感条件的实现度量作为目标函数，我们将该方法应用于以情绪为条件的文本生成，并将其与手动设计的提示进行比较。优化的提示在实现情感条件方面达到了 0.75 的宏平均 F1，而手动设计的提示仅达到了 0.22 的宏平均 F1。

    Aug, 2023

  • 情绪刺激：通过心理学为大型语言模型提升增强

    大语言模型通过 EmotionPrompt 在情绪智能方面进行性能提升，取得了显著的成果，有助于人类与语言模型的跨学科知识交互。

    Jul, 2023

  • 情感演讲合成与丰富的精细控制

    本论文提出了一种有效的情感控制方法，用于端到端的文本到语音（TTS）系统，使用嵌入向量表示 TTS 输入并结合了内外情感距离比算法和插值技术来提高发音的表现力和可控性。主观评估表明所提算法优于传统方法。

    Nov, 2019

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • MojiTalk: 大规模生成情感回应

    借助基于表情符号的标注语料以及引入强化条件变分编码器，论文提出了一种生成具有特定情感的高质量抽象会话回复的深度生成模型。

    Nov, 2017

  • 利用语音 PTM、文本 LLM 和情感 TTS 进行语音情感识别

    通过研究不同的预训练模型、情感文本合成和数据增强方法，本文提出了一种提高语音情感识别效果的方法，实验结果表明该方法在 IEMOCAP 数据集上具有较高的效果。

    Sep, 2023

  • 基于常识的提示控制共情对话生成

    该研究提出一种新的框架，通过口头提示和策略驱动的未来鉴别器来融合常识知识并控制对话生成，从而改善预训练语言模型的共情式对话生成性能。实验证明，社会常识知识的融合和生成控制的强制执行有助于提高性能。

    Feb, 2023

  • 可控文本朗读：基于文本描述的文本朗读系统

    本研究开发了一个名为 PromptTTS 的语音合成系统，利用文本描述来指导语音的生成，从而实现了对语音风格的精确控制。与已有的控制语音风格的技术相比，PromptTTS 更加用户友好。实验表明，PromptTTS 可以生成具有精确风格控制和高质量的语音。

    Nov, 2022

  • 非自然语言处理：语言模型如何处理机器生成的提示？

    语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。

    Oct, 2023