Mar, 2021

PnG BERT：基于音素和字素的增强型 BERT 用于神经语音合成

PDF
TL;DR介绍了 PnG BERT，它是一种新的神经 TTS 编码器模型，使用输入的音素和字素表示以及它们之间的单词级对齐来增强原始的 BERT 模型。该模型可以进行自我监督的大型文本语料库的预训练，并通过 TTS 任务进行微调。实验结果表明，使用 PnG BERT 作为编码器进行预训练的神经 TTS 模型产生的语音韵律更自然，发音更准确，比仅使用音素输入而不预训练的基线模型表现更好。主观音频偏好评估表明，听者对使用 PnG BERT 合成的语音和专业演讲者的真实录音之间没有显着的统计差异。
png bertneural ttsphonemegraphemeself-supervised
发现论文，激发创造
  • 使用预训练字素模型的神经音素转换

    本文提出了一种预训练的字形模型 GBERT，通过两种方法将其融合到基于 Transformer 的 G2P 模型中，实验证明了该模型在 SIGMORPHON 2021 G2P 任务的中低资源数据情况下的有效性。

    Jan, 2022

  • 基于 Phoneme 级别的 BERT 和 Grapheme 预测增强文本转语音的韵律

    本研究提出了预训练的基于音素级别的 BERT 编码器，通过预测对应的字母表顺序来提高生成语音的自然度，并在主观评估中证明其在未知范围的文本中相比基于状态的 TTS 模型有显著提高的平均意见评分。

    Jan, 2023

  • Mixed-Phoneme BERT: 用混合音素和超音素表示增强文本到语音的 BERT 模型

    本文提出了使用混合音素和超音素表示来增强 BERT 模型的学习能力的 MixedPhoneme BERT，该模型将相邻的音素合并为超音素，并将音素序列和超音素序列组合作为模型输入，从而在文本到语音合成中获得了显着的性能提升并且速度快 3 倍。

    Mar, 2022

  • 汉语多音字消歧的多音字 BERT

    本文提出一种中文多音字 BERT 模型，通过从 354 个原中文多音字生成 741 个新的中文单音字，再将其添加到预训练的中文 BERT 中，使得多音字消岐任务能够转化为中文多音字 BERT 语言模型的预训练任务。实验结果验证了该模型的有效性，与基于 BERT 的分类器模型相比，该多音字 BERT 模型获得了 2% 的平均准确率提升（从 92.1% 到 94.1%）

    Jul, 2022

  • 从预训练深度语言模型到端到端语音合成的迁移学习

    本论文研究了通过引入 BERT 模型辅助训练 TTS 模型 Tacotron-2，以缓解高质量语音库的不足问题，并在模型训练中观察到模型收敛更快、结果中无杂音等优点。

    Jun, 2019

  • 语音增强的语言建模用于文本到语音合成

    我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

    Jun, 2024

  • BERTphone: 适用于话语级别的说话人和语言识别的音素感知编码器表示

    介绍了 BERTphone，这是一种在大型语音语料库上训练的 Transformer 编码器，可输出具有音素感知上下文表示向量，可用于说话人和语音识别。Bertphone 在 speaker recognition 和 language recognition 任务中表现出类别最佳的效果。

    Jun, 2019

  • XPhoneBERT：用于文本到语音的音素表征的预训练多语种模型

    本研究介绍了 XPhoneBERT，这是第一个多语种模型，经过预训练学习用于下游文本转语音任务的音素表示。我们使用 RoBERTa 预训练方法对近 100 种语言和地区的 330M 个音素级句子进行了训练。实验结果表明，将 XPhoneBERT 用作输入音素编码器，可以显著提高强神经 TTS 模型的自然度和韵律性，并且有助于在有限的训练数据下产生高质量的语音。我们公开发布了预训练的 XPhoneBERT，希望能促进未来多语言下游 TTS 应用研究。

    May, 2023

  • GraphSpeech: 基于语法感知的图注意力神经网络用于语音合成

    GraphSpeech 是在图神经网络框架下提出的神经 TTS 模型，明确编码输入词汇单元在句子中的句法关系，并将此信息合并到 TTS 注意机制中产生用于文本合成的字符表示向量。实验表明，GraphSpeech 在频谱和韵律的呈现方面稳定优于 Transformer TTS 基线。

    Oct, 2020

  • 基于 Transformer 的音素转换

    本文研究将 transformer 架构应用于 G2P 转换，并将其性能与循环卷积神经网络等之前的方法进行比较。结果显示，基于 transformer 的 G2P 在单词错误率方面优于基于卷积的方法，并且我们的结果在两个数据集上的单词和音素错误率方面显着超过之前的循环方法（无注意力）。此外，所提出的模型的大小要小得多。

    Apr, 2020