Jun, 2023

生成式口语语言建模对嘈杂语音的编码方式：从语音学到句法的研究

PDF
TL;DR本文探讨了基于生成式口语语言建模（GSLM）的语音建模潜力，介绍了其在口语和语音处理中编解码的有效性和重构实验结果。
generative spoken language modelingspeech processingspeech analysisspeech synthesisresynthesis experiments
发现论文，激发创造
  • 基于韵律的无文本生成式语音语言建模

    本文提出了一种基于多流 Transformer 和 HiFi-GAN 的韵律感知生成口语语言模型 (pGSLM)，利用韵律为生成式预训练提供了更好的理解和生成能力。实验结果表明，该模型可以显著提高韵律和内容建模，并能够生成自然、有意义和连贯的语音。

    Sep, 2021

  • 从原始音频生成口语语言模型

    本篇论文介绍了一种新的学习语言的方法，通过原始音频数据及一套度量标准来自动评估学习后的音声和语言表征，为无监督下的基于文本的生成模型提供了一种替代方法。

    Feb, 2021

  • 生成式口语对话语言建模

    本文介绍了 dGSLM，这是第一个无需文字或标签即能生成自然对话语音的 “textless” 模型，使用双塔变压器体系结构与跨注意力机制，经过 2000 小时的对话录音训练，能同时合成两个渠道的人类语音和语音附属特征，并展示其相对于基于文本的级联模型表现出更自然和流畅的交替发言。

    Mar, 2022

  • 分析用于口语语言模型的离散自监督语音表示

    本文通过生成式语言模型的视角深入分析离散自监督语音表示（单元），并提出了对于该模型单元的实用改进方法。其分析发现语音单元与音素和音素族之间存在较高的相关性，且与说话人或性别的相关性较弱。此外，该研究发现单元提取中存在冗余性，并提出了一种新的无监督测量单元冗余的方法。最后，研究使用此度量标准开发了新的方法，用于改进单元的聚类鲁棒性并在零资源语音测量方法（例如 ABX）方面表现出显着的改进。

    Jan, 2023

  • 基于连续词大小的音频令牌的生成式口语模型

    基于连续值音频嵌入的生成式口语语言模型（GSLM）通过引入词大小连续嵌入函数、对比损失和 k-NN 采样，取得了多样性和富有表现力的语言生成；该模型与离散单元 GSLM 在生成质量方面表现相当，同时内存效率提高了五倍；此外，词嵌入前后的嵌入具有音韵和语义解释性。

    Oct, 2023

  • 口语语言识别的生成语言表示

    探索利用 Whisper 模型的解码器网络通过其生成机制提取语言特征来提高 LID 任务中的分类准确性。通过基于语言嵌入方法和直接优化 LID 输出的两种策略，在 MLS、VoxLingua107 和 CommonVoice 等大规模多语言数据集上进行实验以验证我们的方法的有效性。实验结果表明该方法在 LID 任务的领域内和领域外数据集上均具有良好效果。

    Dec, 2023

  • 同时建模语音识别和合成：将词汇和亚词汇语义信息编码和解码为语音，无需直接访问语音数据

    本文旨在研究如何从原始语音中自动生成词汇语义信息，并将其应用于无人监督的语音技术和语义建模领域。作者建立了包含生产和感知原则的深度卷积神经网络，通过自动编码和分类技术实现词汇语义信息自动解码。研究结果表明该网络能够从原始语音数据中学习到独特的词汇信息，具有良好的应用前景。

    Mar, 2022

  • 生成式语言模型中意外自我加强学习放大的语言偏见 —— 一个视角

    探讨生成式语言模型在数字应用中的广泛使用可能会不经意地引发自我加强学习循环，从而放大现有的语言偏见，这可能会影响未来几代人的语言和认知发展，并强调有必要进行严格的研究，以确保这些强大技术的有效、安全和公平使用，同时保持人类语言的丰富性和多样性。

    Jun, 2023

  • 半监督生成建模用于可控语音合成

    本文提出一种新颖的生成模型，它将最先进的神经文本到语音技术和半监督概率潜变量模型相结合。通过对某些潜变量进行部分监督，我们能够强制它们具有一致和可解释的特征，这在纯无监督的文本到语音模型中过去是不可能的。我们证明了我们的模型能够可靠地发现和控制语音的重要属性（例如情感和语速），即使只监督 1％（30 分钟）。在这样低的监督水平下，我们观察不到合成质量与最先进的基线水平相比的下降。

    Oct, 2019

  • 通过合成进行语音增强的自监督学习

    本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

    Nov, 2022