Sep, 2023

CiwaGAN：音韵信息交流

PDF
TL;DR这篇论文介绍了 CiwaGAN 模型，它是结合了无监督的发音建模和通过听觉模态进行信息交流的人类口语习得模型。该模型是第一个将这两个组件结合到一起的研究，同时还提出了一个具有更易解释的内部表示的改进发音模型。提出的 CiwaGAN 模型是使用深度学习对人类口语习得进行最逼真的近似模型，对认知合理的人类言语行为模拟非常有用。
ciwaganspoken language acquisitionunsupervised articulatory modelinginformation exchangedeep learning
发现论文，激发创造
  • Articulation GAN：无监督建模关节学习

    通过引入 Articulatory Generator 至 Generative Adversarial Network 范式，我们提出了一种新的无监督生成语音生成 / 合成模型，它通过学习以完全无监督的方式生成关节表征（电磁关节成像术或 EMA）更加贴近于人类语音生成。研究表明，该网络学会了像人类一样在语音生产过程中控制关节，还能够生成训练分布中存在和缺失的词语，因此对人类语言的认知模型和言语技术产生了重要的影响

    Oct, 2022

  • 同时建模语音识别和合成：将词汇和亚词汇语义信息编码和解码为语音，无需直接访问语音数据

    本文旨在研究如何从原始语音中自动生成词汇语义信息，并将其应用于无人监督的语音技术和语义建模领域。作者建立了包含生产和感知原则的深度卷积神经网络，通过自动编码和分类技术实现词汇语义信息自动解码。研究结果表明该网络能够从原始语音数据中学习到独特的词汇信息，具有良好的应用前景。

    Mar, 2022

  • 跟我复读：通过模仿发音实现声学到发音器官映射的自监督学习

    本文提出了一种语音合成的计算模型，该模型结合了以神经网络为基础的喉咙模型、基于深度神经网络的预测模型和基于递归神经网络的反演模型，从声音数据中自主训练。结果表现出了令人鼓舞的效果。

    Apr, 2022

  • 脑启发式概率生成模型用于口语双关节分析

    本研究基于多项神经科学调查结果，设计了一个基于概率生成模型的双关节语音分析假设模型，并探讨了它在人脑中的实现方式，为进一步探索大脑中双关节语音分析提供了重要的基础。

    Jul, 2022

  • 用对抗网络实现高保真度语音合成

    使用条件前馈生成器和多个鉴别器组成的架构，GAN-TTS 能够生成自然度与当前最先进的模型相当，而且可以高度并行化。同时，研究者还使用了主观人类评估及新型量化指标来评估 GAN-TTS 的性能。

    Sep, 2019

  • 语音与文本联合理解

    通过整合悄悄话作为感知模块和 LLaMA 作为推理模块，LTU-AS 机器学习模型可以同时识别和共同理解口语文本、语音相声和非语音音频事件 - 几乎可以从音频信号中感知到的一切。

    Sep, 2023

  • 基于 DNN 的声学到发音器反演，使用超声舌像

    本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

    Apr, 2019

  • 从原始音频生成口语语言模型

    本篇论文介绍了一种新的学习语言的方法，通过原始音频数据及一套度量标准来自动评估学习后的音声和语言表征，为无监督下的基于文本的生成模型提供了一种替代方法。

    Feb, 2021

  • GAN 能否听见？从扩散模型中重获无条件语音合成

    AudioStyleGAN 是一个基于生成对抗网络的语音合成模型，利用噪声转换为分离的潜在向量，并引入新技术成功训练模型和实现不需要显式训练的语音转换和编辑，取得了 Google Speech Commands 数据集上的最佳效果。

    Oct, 2022

  • 利用生成对抗网络进行视频驱动的语音重建

    本文提出了一种基于生成式对抗网络（GANs）的、直接从无声视频中合成自然语音的端到端模型，能够根据视频内容生成与其同步的语音，并在 GRID 数据集上进行了性能评估，实现了从视频到裸音频的首次直接映射，并能够识别新演讲者的语音，并在音质和准确性方面对生成的音频进行评价。

    Jun, 2019