自回归预测编码的语音生成预训练

Oct, 2019

自回归预测编码的语音生成预训练

Generative Pre-Training for Speech with Autoregressive Predictive Coding

Yu-An Chung, James Glass

TL;DR该研究探讨使用自回归预测编码（APC）进行生成式预训练学习，以学习有意义、不具体且可传递的语音表示，并经过三个语音应用程序的转移学习实验来验证和评估其效能。该方法不仅在所有 3 个任务上优于表面特征和其他流行的表示学习方法，而且还能够减少下游标注数据大小和模型参数。同时，使用 Transformers 来建模 APC 将优于使用递归神经网络（RNN）方法。

Abstract

Learning meaningful and general representations from unannotated speech that are applicable to a wide range of tasks remains challenging. In this paper we propose to use autoregressive predictive coding (APC), a recently proposed self-supervised objective, as a generative pre-training

autoregressive predictive coding self-supervised learning transfer learning speech recognition transformers

发现论文，激发创造

向量量化自回归预测编码

本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

May, 2020

多目标自回归预测编码改进语音表示

通过未标记的语音学习有意义的表示方法，将预测编码的培训目标应用于自回归预测编码（ARPC），并提出了一种辅助目标以提高未来帧预测任务的泛化能力和语音内容。不仅支持假设，还证明了该方法在学习含有更丰富语音内容的表示方面的有效性。

Apr, 2020

Bi-APC: 双向自回归预测编码用于无监督预训练及其在儿童语音识别中的应用

本文提出了一种双向无监督模型预训练方法（UPT），并将其应用于儿童自动语音识别，该方法通过自回归预测编码器（APC）和带有双向模型的 Bi-APC，将成人语音数据上的知识传递到儿童语音数据，提高了 LSTM 的基础识别结果。

Feb, 2021

非自回归预测编码：从局部依赖学习语音表示

本研究提出非自回归预测编码 (NPC) 的自学习方法，通过仅依赖语音的本地依赖，在非自回归方式下学习语音表示。使用新引入的蒙版卷积块实现 NPC 的概念简单、易于实现的目标，并且在每个时间步长上具有固定的推断时间，从而加速了推理速度。理论和实证比较证明了 NPC 的有效性，与其他方法相比，NPC 的表现在语音实验中可比，而且更加高效。

Nov, 2020

Transformer 基于语音识别的无监督预训练的进一步研究

本文通过进一步研究 Masked Predictive Coding 的三个重要方面：预训练数据的发言风格，对流式模型的扩展和如何更好地将预训练阶段的知识转移，实验证明，在下游识别任务中，预训练数据与匹配的发言风格更有用，使用 APC 和 MPC 的统一培训目标在 HKUST 上训练的流式模型上提供了 8.46％的相对错误率降低，目标数据适应和逐层判别式培训的组合有助于 MPC 的知识转移，在 AISHELL 上相对基线实现了 3.99％的错误率降低。

May, 2020

自监督预训练用于在恶劣环境中实现稳健个性化语音活动检测

本文提出了使用大规模无标签数据集上的自监督预训练，以改善个性化语音活动检测 (VAD) 模型在恶劣条件下的性能。我们使用自回归预测编码 (APC) 框架对长短期记忆 (LSTM) 编码器进行预训练，并进行个性化 VAD 的微调。我们还提出了一种去噪的 APC 变体，旨在提高个性化 VAD 的鲁棒性。经过系统评估后，我们发现在清晰环境下，自监督预训练不仅提高了性能，而且生成的模型与纯监督学习相比在恶劣条件下更加鲁棒。

Dec, 2023

引导式对比自监督预训练在自动语音识别中的应用

本研究提出了一种名为 GCPC 的改进型 CPC 方法，可以注入先验知识并在 Tacotron2 上进行预训练，实验表明，相比于 CPC，该方法在德语，法语和英语等自动语音识别任务中均表现出更好的识别效果。

Oct, 2022

小数据中音素预测编码模型的学习分析

本研究基于两个不同语言的数据集，研究了两种预测编码模型（APC 和 CPC）的行为，发现 CPC 模型在短时间内已经取得了更好的表现，其预测损失优化后的表现也符合语音识别领域中音素特征学习的最优化要求。

Jul, 2020

无监督自回归模型用于语音表示学习

本文提出了一种新颖的无监督自回归神经模型，用于学习通用的语音表示，通过无需音素或单词边界标签的方法，从大量未标记数据中学习。我们的模型的语音表示显著提高了电话分类和说话人验证的性能，并且我们的分析表明，不同级别的语音信息由我们的模型在不同层次上捕获。

Apr, 2019

对比预测编码的表示学习

本研究提出了一种普适的无监督学习方法 Contrastive Predictive Coding，通过使用强大的自回归模型在潜在空间中预测未来来提取高维数据的有用表示，以此学习有用的表示并在语音，图像，文本和三维环境中的强化学习中实现了强大的表现。

Jul, 2018