Oct, 2022

Articulation GAN：无监督建模关节学习

PDF
TL;DR通过引入 Articulatory Generator 至 Generative Adversarial Network 范式，我们提出了一种新的无监督生成语音生成 / 合成模型，它通过学习以完全无监督的方式生成关节表征（电磁关节成像术或 EMA）更加贴近于人类语音生成。研究表明，该网络学会了像人类一样在语音生产过程中控制关节，还能够生成训练分布中存在和缺失的词语，因此对人类语言的认知模型和言语技术产生了重要的影响
generative deep neural networksspeech synthesisarticulatory generatorunsupervised generative modelhuman speech production
发现论文，激发创造
  • 用对抗网络实现高保真度语音合成

    使用条件前馈生成器和多个鉴别器组成的架构，GAN-TTS 能够生成自然度与当前最先进的模型相当，而且可以高度并行化。同时，研究者还使用了主观人类评估及新型量化指标来评估 GAN-TTS 的性能。

    Sep, 2019

  • SEGAN: 语音增强生成对抗网络

    本研究提出使用生成对抗网络进行语音增强，通过训练模型使其在波形级别对 28 个说话人和 40 种不同噪声条件进行增强，目的是解决当前技术只能处理少量特定噪声条件和依赖于一阶统计量的问题，实验证明该模型的可行性和有效性，未来可以进一步探索生成性结构用于提高语音增强的性能。

    Mar, 2017

  • 对抗性音频合成

    本篇论文介绍了 WaveGAN，这是将 GANs 应用到无监督的原始音频波形合成中的第一个尝试。WaveGAN 能够合成具有全局一致性的音频波形，适用于音效生成，并且实验结果表明，它能够在没有标签的情况下学习生成一些可理解的单词和其他领域（如鸟类鸣叫、钢琴和鼓声等）的音频。

    Feb, 2018

  • CiwaGAN：音韵信息交流

    这篇论文介绍了 CiwaGAN 模型，它是结合了无监督的发音建模和通过听觉模态进行信息交流的人类口语习得模型。该模型是第一个将这两个组件结合到一起的研究，同时还提出了一个具有更易解释的内部表示的改进发音模型。提出的 CiwaGAN 模型是使用深度学习对人类口语习得进行最逼真的近似模型，对认知合理的人类言语行为模拟非常有用。

    Sep, 2023

  • GANSynth：对抗神经音频合成

    本文介绍了在频谱域中建模日志幅度和瞬时频率可提高 GAN 在音频合成方面的表现，并通过 NSynth 数据集的大量实证研究表明，GAN 能够比强 WaveNet 基线在自动化和人工评估指标上表现更好，而且比自回归模型产生的音频快几个数量级。

    Feb, 2019

  • 融合生成对抗网络的统计参数语音合成

    本文介绍了一种使用生成对抗网络（GAN）的统计参数语音合成方法，相比于传统的最小生成误差训练算法，该方法能够更自然地生成语音波形，并有效缓解了生成语音参数的平滑问题。我们还研究了不同 GAN 之间的差异，并发现最小化 Earth-Mover 距离的 Wasserstein GAN 可以最大程度地提高合成语音的质量。

    Sep, 2017

  • 具条件的顺序生成对抗网络下基于语音的表情丰富的说话嘴唇模型

    该论文提出了一种基于条件生成对抗网络的技术，该技术能够通过提取的带感情的语音特征来生成具自然性和表现力的口型动画，实验结果表明该技术与三种最先进的方法相比在客观和主观上都有明显的改进。

    Jun, 2018

  • 基于生成对抗网络的音频到场景图像合成

    通过使用生成对抗网络、谱范数、投影判别器和辅助分类器等技术，我们的模型可以更好地生成声音相关的图像，这表明我们的模型在一定程度上真正了解声音和图像之间的关系。

    Aug, 2018

  • 通过与迭代精化的隐马尔可夫模型协调的生成对抗网络实现完全无监督语音识别

    本研究使用生成对抗网络和隐马尔可夫模型开发了一种适用于低资源语言的无监督语音识别方法，并在 TIMIT 数据集上实现了 33.1% 的电话错误率，比现有技术提高了 8.5%。

    Apr, 2019

  • 语音手势生成对话生成对话生成对话生成：机器人和具身化代理的手势生成

    本文提出了一种新框架，可以根据语音文本和语音音频表达生成关节角度序列，经过客观和主观评估，证明了该手势生成框架对机器人和具身代理的有效性。

    Sep, 2023