Mar, 2022

面向基于层级上下文信息的汉语语音合成的表现性语音风格建模

PDF
TL;DR本文提出了一种层级框架，用于从上下文中建模表达语音合成的风格。通过 Hierarchical Context Encoder 来探索更广泛的上下文信息，结合 Inter-Phrase 和 Inter-Sentence 关系，提出了一种新的训练策略 —— Knowledge Distillation，该方法在普通话演讲数据集上进行了客观和主观评估，显著提高了合成语音的自然度和表现力。
发现论文，激发创造
  • 自监督上下文感知风格表示在表现性语音合成中的应用

    本文提出了一种利用自我监督学习从大量纯文本中学习风格表达的新框架，采用情感词典和对比学习和深度聚类，最终在多风格变换文本到语音系统中得到了更好的结果。

    Jun, 2022

  • 情境表达式语音合成

    本研究提出了一种新的任务设置，即什么样的语音是由特定环境所决定的，而非仅仅局限于情绪的预定义类别，为此，我们构建了一个综合数据集并开发了一个有效的框架来生成高质量的自然语音。

    Nov, 2022

  • 多层次上下文信息提升普通话韵律结构预测

    利用多级语境信息，通过多任务学习解码器，本研究提出了一种改进语音生成自然性的方法，通过使用跨发话语之间的语言信息来预测韵律边界，从而在两个数据集上实现了更好的预测效果。

    Aug, 2023

  • 基于分层注意力机制的中文歌词生成模型

    本论文旨在全面研究上下文感知的中文歌词生成。提出了基于分层注意力的 Seq2Seq 模型，该模型编码了单词级和句子级上下文信息，促进了生成的主题相关性和一致性，利用大型中文歌词语料库进行模型训练，结果表明，我们的模型能够通过一致性约束生成完整的中文歌词。

    Jun, 2019

  • 神经 TTS 中的文本驱动情感风格控制与跨说话人风格转移

    该论文提出了一种基于文本的情感风格控制接口和跨说话人风格转移方法，利用双模态风格编码器以及新的风格损失函数，实现高质量的表达性语音合成。

    Jul, 2022

  • 基于知识的会话中的表达学习

    本研究提出一种基于变分方法的分段生成模型，使用两个序列潜状态变量分别表示响应的结构和内容风格，以探索响应中的隐含知识表达模式，并在两个基准测试中获得较好的评估结果。

    Apr, 2022

  • 个性化的语音驱动的具有风格控制的表情生成功能的三维面部动画合成

    通过建模特定身份的面部动作为潜在表示（称为样式），并在各种情感类别的语音输入中合成具有目标样式的新动画，我们提出了一种个性化语音驱动的富有表现力的 3D 面部动画综合框架。

    Oct, 2023

  • 汉语语言模型中语法知识的受控评估

    我们研究了结构化监督在汉语中的效果，结果表明结构化监督可以帮助语言模型学习句法和语义关系，并且在低数据情况下表现出更好的性能。

    Sep, 2021

  • 使用上下文表示改进话语依存分析

    本研究提出了一种基于 transformers 的新方法，通过对不同级别单元的上下文化表示进行编码，动态捕捉对话依赖分析所需的信息，并将对话关系识别视为序列标记任务

    May, 2022

  • 基于音节结构和上下文的汉语歌词条件生成

    介绍了一种用于生成汉语歌词的模型，该模型基于原始旋律并考虑了汉语音节结构及语义。通过使用多通道序列到序列模型，同时考虑词组结构和语义，其中一个用于编码音节结构，另一个用于语义编码。使用大规模的汉语歌词语料库进行模型训练，并通过自动和人工评估验证了模型的有效性。是目前关于考虑音乐和语言的双重视角的汉语歌词生成较少的报告之一。

    Jun, 2019