May, 2019

Zerospeech Challenge 2019 中的 VQVAE 无监督单元发现和多尺度 Code2Spec 反转器

PDF
TL;DR我们利用 VQ-VAE 和 Code2Spec 实现了一个语音合成系统，并使用多种聚类算法和压缩方法进行了比较，结果在 ZeroSpeech Challenge 2019 中取得了显著的提高。
zerospeech challengeunsupervised learningvector quantized variational autoencodermulti-scale codebook-to-spectrogram inverterspeech synthesis
发现论文，激发创造
  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 使用离散隐变量神经网络进行语音合成的无监督声学单元发现

    本文介绍了使用离散潜变量神经网络对无标签语音进行离散子单词建模，使用自编码器架构进行中间离散化，在训练中，根据模型的特点对语音单元重新建模，以甄别可离散化的语音特征。在测试中，离线甄别采用未知说话者的语音，通过已知目标说话者的条件下的解码来获得重构的滤波器组。最后，使用神经声码器将输出进行合成，比较分别使用分类变分自编码器（CatVAEs）, 矢量量化 VAEs（VQ-VAEs）和直通估计在两种语言上的不同压缩水平，并发现该模型可以在离散表示方面产生竞争性的合成质量

    Apr, 2019

  • 一种多阶段多码本的 VQ-VAE 方法实现高性能神经 TTS

    提出一种多阶段、多码本（MSMC）方法来高效实现神经 TTS 合成，该方法使用基于向量量化的变分自编码器（VQ-VAE）编码语音训练数据的 Mel 频谱图，并通过多阶段逐渐进行下采样，将它们量化为具有不同时间分辨率的多个 MSMC 表示，同时使用多个 VQ 码本。在合成中，神经声码器将预测的 MSMCR 转换为最终语音波形，该方法在 16 小时的英语 TTS 数据库中，以女性说话者的 TTS 得分（MOS）为 4.41，比基准值的 MOS（3.62）更出色，同时低参数的紧凑版本仍然可以保持高 MOS 得分，消融研究表明，多个阶段和多个码本对于实现高性能的 TTS 都是有效的。

    Sep, 2022

  • 仅使用清晰语音的自监督语音质量估计和增强

    提出了一种基于自编码器的自监督度量方法（VQScore），用于评估语音质量，并结合领域知识进行模型设计，同时训练自主语音增强模型以改进编码器的鲁棒性。实验结果表明，该方法和增强模型与有监督基线模型具有竞争力。

    Feb, 2024

  • 使用 WaveNet 自编码器进行无监督的语音表示学习

    本研究旨在通过自编码神经网络从语音波形中提取有意义的潜在表示，并比较三个变体：简单维度约束、高斯变分自编码器和离散量化矢量自编码器，成果表明此方法在 ZeroSpeech 2017 任务中获得了可比拟的表现。

    Jan, 2019

  • 利用 VQ-VAE 从口腔和声学特征进行自监督语音单元发现

    使用关节建模和深度学习研究了如何在自我监督情况下使用关节信息发现语音单元，并在实验中发现联合使用关节和语音学模态可以更准确地表示这些语音学维度。

    Jun, 2022

  • Wav2vec-C: 一种用于语音表征学习的自监督模型

    Wav2vec-C 是一种结合语音编码和自监督学习的新的表示学习技术，训练模型在未标记数据和标记数据上表现都很好。

    Mar, 2021

  • SQ-VAE：自退火随机量化的离散表征变分贝叶斯

    本文提出了一种名为 SQ-VAE 的新型训练方法，通过引入一种名为自退火的随机量化方法，扩展标准变分自编码器来提高编码本的利用率，并在视觉和语音任务中优于 VAE 和 VQ-VAE

    May, 2022

  • 具有遮蔽 VQ-VAE 代码本的健壮语义通信

    本文研究语义传播中的噪声问题，提出了一个新方法，通过对称重扰动、屏蔽关键特征和选择重要特征等方式，提高了语义通信系统的鲁棒性和噪声容忍度。

    Jun, 2022

  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019