使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

Nov, 2022

使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features

Alexandra Vioni, Georgia Maniati, Nikolaos Ellinas, June Sig Sung, Inchul Hwang...

TL;DR该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

Abstract

Current state-of-the-art methods for automatic synthetic speech evaluation are based on mos prediction neural models. Such MOS prediction models include MOSNet and LDNet that use spectral features as input, and S

synthetic speech evaluation mos prediction neural models prosodic and linguistic features tacotron encoder outputs bert embeddings

发现论文，激发创造

MOS 预测系统中语音表示的比较

本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。

Jun, 2022

利用直觉的韵律特征进行可控的神经文本转语音合成

通过使用一种基于序列对序列神经网络的方法，对音频语音特征进行条件训练，以学习一个直观且有意义的潜在韵律空间，进一步控制音调、音高、语音能量等特征参数，生成多种音色，并维持与 Tacotron 基线模型相似的评分（4.26/4.23）。

Sep, 2020

改进基于自主学习的 MOS 预测网络

该研究通过对先前基于自监督学习的 MOS 预测模型进行数据、训练和后训练的特定改进，并采用多种技术评估其有效性，包括 wav2vec 2.0 模型、转移学习、不同的批处理方法和方法的量化等，实现自动预测 MOS 值。

Apr, 2022

通过在 Mel 频谱预测上调节 WaveNet，进行自然语音合成

该论文阐述了 Tacotron 2 的神经网络框架，该框架可以从文本中直接合成语音，其系统由一种递归的序列到序列的特征预测网络和一个修改的 WaveNet 模型组成，能够实现与专业录制的语音相当的平均意见分数 (MOS)。

Dec, 2017

针对低资源语言的文本转语音自动 MOS 预测的资源有效调整策略

通过对 BVCC 和 SOMOS 数据集进行 wav2vec 2.0 预训练和微调，实现了针对 LRL West Frisian 的零样本 MOS 预测。研究表明，在 30% 的数据使用量之后，使用更多的数据并没有显著性的提高性能；同时，对单个听众的数据进行微调有望提高系统级的性能和稳定性。这些发现有助于开发 LRL 语音合成系统的零样本 MOS 预测和初期评估。

May, 2023

语音解析：一种神经方法用于集成词汇和声学 - 韵律信息

本文中，我们提出了一个模型，该模型使用卷积神经网络对能量和音高轨迹进行耦合，并使用基于注意力机制的循环神经网络，接受文本和韵律特征，并结合转录文本和声学 - 韵律特征，以自动解析口语话语，并发现不同类型的声学 - 韵律特征都有助于解析，对比一个强文本基线，该模型取得了显著的改进。错误分析表明，声学 - 韵律特征的主要优点在于有误流畅度的句子，附加决策得到最大的改进，文本转录错误掩盖了音韵的改进。

Apr, 2017

多语种语调转换：比较监督和迁移学习

对语音合成系统中的韵律传输领域进行研究，评估了适应多语言环境的预训练单语言文本转语音模型的学习方法，即监督微调和迁移学习。结果表明，与监督微调相比，迁移学习可以显著提高性能，平均 MOS 得分高出 1.53 点，RA 增加 37.5%，MCD 改善了约 7.8 个点。这些发现对于建立低资源语言的文本转语音模型具有重要意义。

May, 2024

SOMOS：三星开放式 MOS 数据集用于神经文本转语音合成的评估

该论文介绍了一个大型的神经文本转语音（TTS）数据集 SOMOS，该数据集可以用来训练自动 MOS 预测系统，以评估现代合成器。该数据集由 20k 个来自 200 种 TTS 系统的合成语音组成，提供平衡和充足的领域和长度覆盖率，并在三个英文 Amazon Mechanical Turk 地点上收集 MOS 自然度评估，同时分享了可靠的众包注释实践。研究者提供了 SOTA MOS 预测模型在 SOMOS 数据集上的基线结果，并显示了这些模型在评估 TTS 语音时面临的限制。

Apr, 2022

使用 LPCNet 的高质量轻量化和可适应的语音合成技术

本研究提出了一种轻量级的适应性神经 TTS 系统，采用三个单独的神经网络块来实现韵律预测、声学特征预测和线性预测编码神经声码器，性能接近自然语音合成，同时在标准 CPU 上实时性能比真实速度快 3 倍，系统的模块化设置使得可适应新的语音，只需要少量的数据，在大量实验中展示了系统的高质量和适应性，提高了 0.12 的质量差距和 3% 的相似性差距，可适应未见的声音和性别的合成。

May, 2019

简单有效的多句 TTS 系统，具有表达和连贯的韵律

本文针对长文本合成语音的特殊困难，通过将上下文信息、强大文本特征和多人数据用于 Transformer-based FastSpeech 的简单扩展，改进了合成语音的韵律，其中 BERT 也受益于更多的训练数据。通过客观的停顿和速度指标和全面的主观评估，得出了一种较强的合成语音系统，其中包括所有改进扩展，相对于同类竞品在语音自然度方面表现出显著的提升。

Jun, 2022