Nov, 2020

非自回归 预测编码：从局部依赖学习语音表示

PDF
TL;DR本研究提出非自回归预测编码 (NPC) 的自学习方法，通过仅依赖语音的本地依赖，在非自回归方式下学习语音表示。使用新引入的蒙版卷积块实现 NPC 的概念简单、易于实现的目标，并且在每个时间步长上具有固定的推断时间，从而加速了推理速度。理论和实证比较证明了 NPC 的有效性，与其他方法相比，NPC 的表现在语音实验中可比，而且更加高效。
发现论文，激发创造
  • 卷积神经网络神经预测编码实现演讲者特征无监督学习

    本研究提供了一种新方法 —— 神经预测编码（NPC），以从大量无标注的训练数据中完全无监督地学习说话人特征，该方法利用了所提出的短期主动说话人平稳假设，即将两个时间上接近的短语音片段规定为同一说话人，从而训练卷积深度连体网络，通过学习区分在未标记的语音流数据中生成的 “相同” 和 “不同” 说话人对，生产 “说话人嵌入”，从而在短持续时间实验中表现最佳，并为完整话语实验提供补充信息。

    Feb, 2018

  • 自回归预测编码的语音生成预训练

    该研究探讨使用自回归预测编码（APC）进行生成式预训练学习，以学习有意义、不具体且可传递的语音表示，并经过三个语音应用程序的转移学习实验来验证和评估其效能。该方法不仅在所有 3 个任务上优于表面特征和其他流行的表示学习方法，而且还能够减少下游标注数据大小和模型参数。同时，使用 Transformers 来建模 APC 将优于使用递归神经网络（RNN）方法。

    Oct, 2019

  • 多目标自回归预测编码改进语音表示

    通过未标记的语音学习有意义的表示方法，将预测编码的培训目标应用于自回归预测编码（ARPC），并提出了一种辅助目标以提高未来帧预测任务的泛化能力和语音内容。不仅支持假设，还证明了该方法在学习含有更丰富语音内容的表示方面的有效性。

    Apr, 2020

  • 向量量化自回归预测编码

    本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

    May, 2020

  • 无监督自回归模型用于语音表示学习

    本文提出了一种新颖的无监督自回归神经模型，用于学习通用的语音表示，通过无需音素或单词边界标签的方法，从大量未标记数据中学习。我们的模型的语音表示显著提高了电话分类和说话人验证的性能，并且我们的分析表明，不同级别的语音信息由我们的模型在不同层次上捕获。

    Apr, 2019

  • 小数据中音素预测编码模型的学习分析

    本研究基于两个不同语言的数据集，研究了两种预测编码模型（APC 和 CPC）的行为，发现 CPC 模型在短时间内已经取得了更好的表现，其预测损失优化后的表现也符合语音识别领域中音素特征学习的最优化要求。

    Jul, 2020

  • 引导式对比自监督预训练在自动语音识别中的应用

    本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。

    Oct, 2022

  • 使用相对预测编码的自监督表示学习

    本文介绍了相对预测编码（RPC），一种新的对比表示学习目标，保持了训练稳定性，小批量大小敏感性和下游任务性能之间的良好平衡。RPC 的成功关键在于两个方面。首先，RPC 引入了相对参数来调整目标，使其具有界限性和低方差。第二，RPC 不包含对数和指数得分函数，这是以前对比目标中训练不稳定性的主要原因。我们在基准视觉和语音自监督学习任务上经验证实了 RPC 的有效性。最后，我们将 RPC 与相互信息（MI）估计联系起来，显示 RPC 可以用于低方差的 MI 估计。

    Mar, 2021

  • 使用深度卷积生成对抗网络学习语音数据中的本地和非本地依赖关系，并生成类似规则的表征

    本文中提出，训练 GANs 以学习语音数据中的局部和非局部依赖关系，提供了洞察深度神经网络如何离散化连续数据以及深度卷积架构中出现类似符号化的基于规则的形态音位学过程的方式。

    Sep, 2020

  • 变率分层 CPC 用于语音中的声学单位发现

    本文通过自监督学习探索了多层对比预测编码 (CPC) 模型对语音的分层表示，提出了一种基于不均匀下采样的模型，通过聚焦负采样和量化目标等方法增强了其对深度、离散性的优化，从而在 speech recognition 任务上得到了更好的效果，同时也实现了语音信号的有效分割。

    Jun, 2022