Jun, 2022

具有非自回归神经机器翻译功能的新型中文方言 TTS 前端

PDF
TL;DR本文提出了一种新颖的中文方言 TTS 前端和翻译模块，用于把标准普通话文本转化为方言表达以提高语音合成的可懂性和自然度。这是首个将翻译与 TTS 前端相结合的工作，使用非自回归神经机器翻译模型和多种技巧，且实验结果在粤语上显示出 2.56 BLEU 和 0.27 MOS 的性能提升。
chinese dialectsmandarinttsneural machine translationcantonese
发现论文，激发创造
  • 基于共性和多样性建模的无监督神经方言翻译

    本文研究旨在找出方言翻译任务中缺乏平行语料和具有类似语法的两方之间的共性和差异之处，从而建立无监督翻译模型。结果表明，我们的方法在 20 万万普通话和广东话的单语语料库上的性能优于规则 - 基础简体和繁体中文转换以及常规无监督翻译模型。

    Dec, 2019

  • 无监督的普通话 - 粤语机器翻译

    本研究探讨了基于无监督机器翻译的普通话和粤语之间的翻译，通过构建包含约 100 万个粤语句子的语料库，以及采用基于字符的分词和 Transformer 架构的模型，实现了最佳的翻译效果。

    Jan, 2023

  • 粤语神经语音合成中升调建模研究

    本文提出了使用基于 BERT 的陈述 / 疑问分类器来弥补普通神经文本到语音系统无法合成升调的缺点，对不同训练策略进行比较并在 CanTTS 语料库上进行实验，结果表明分别训练方法在泛化性能和可行性上表现最佳。

    Aug, 2022

  • CantonMT: 使用合成逆向翻译数据对精细调优模型的粤英机器翻译平台

    这项研究通过数据增强方法和用于低资源语言的神经机器翻译模型，针对粤语 - 英语的翻译方向进行了 Fine-tune，评估了多个不同指标对翻译效果的自动评价，并开发了一个用户友好的界面，以促进粤语 - 英语机器翻译研究。

    Mar, 2024

  • 语音增强的语言建模用于文本到语音合成

    我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

    Jun, 2024

  • 基于音高感知的 Mandarin Chinese 语音错误检测与诊断的 RNN-T

    本研究介绍了一种基于华文的 MDD（Mispronunciation Detection and Diagnosis）系统，采用无状态的 RNN-T 模型，利用带音高嵌入的 HuBERT 特征通过音高融合块进行训练，该模型仅使用母语人士的数据，在非母语场景中，其在电话错误率上表现出 3％的改进和假接受率上的 7％增加，优于现有技术基准。

    Jun, 2024

  • 汉语方言语音学的多方言表示学习

    本文提供了一种从结构化音韵数据构建知识图谱，并应用于知识库学习中的 BoxE 技术，以获取汉语方言多音节表示的方法。

    Jun, 2023

  • 并行 Tacotron：非自回归且可控 TTS

    本文提出了一种用于神经端到端文本到语音的非自回归神经网络模型 Parallel Tacotron，该模型采用变分自编码器来提高自然性，轻量级卷积来捕获局部上下文，并引入迭代光谱损失以进一步提高自然性，实验结果表明，Parallel Tacotron 与强的自回归基线模型相匹配，并在推理时间上显著提高了效率。

    Oct, 2020

  • 使用动态语言与音韵嵌入改善双语 TTS

    该研究构建了一个汉英文字转语音系统，引入了语音学嵌入以捕捉不同语音之间的区别，并在嵌入强度的调节和合适的语音控制方面进行设计，以便在不同情境下产生更为自然标准的英语语音。

    Dec, 2022

  • DTW-SiameseNet：一种用于发音错误检测和更正的动态时间扭曲连锁网络

    本研究提出了一种针对 TTS 语音合成任务中的发音错误检测和校正的高精度、适用于 PDA 的发音学习框架，同时还提出了一种基于动态时间规整技术和度量学习的发音错误检测模型 DTW-SiameseNet。结果表明，与基于音素和音频的基线相比，我们的方法平均提高了～6％ 的发音准确率，并且此方法不受语言和隐私问题的影响。

    Mar, 2023