无监督自回归模型用于语音表示学习

Apr, 2019

无监督自回归模型用于语音表示学习

An Unsupervised Autoregressive Model for Speech Representation Learning

Yu-An Chung, Wei-Ning Hsu, Hao Tang, James Glass

TL;DR本文提出了一种新颖的无监督自回归神经模型，用于学习通用的语音表示，通过无需音素或单词边界标签的方法，从大量未标记数据中学习。我们的模型的语音表示显著提高了电话分类和说话人验证的性能，并且我们的分析表明，不同级别的语音信息由我们的模型在不同层次上捕获。

Abstract

This paper proposes a novel unsupervised autoregressive neural model for learning generic speech representations. In contrast to other speech representation learning methods that aim to remove noise or speaker variabilities, ours is designed to preserve information for a wide range of

unsupervised autoregressive neural model speech representation learning phone classification speaker verification unlabeled data

发现论文，激发创造

无监督神经语音表示学习概述

本文回顾了过去十年中无监督表示学习在语音处理领域的发展，归纳了自监督方法和概率隐变量模型这两类主要模型，提出了全面的分类方法，并讨论了这两类模型。

Mar, 2022

自监督语音表示学习：综述

本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

May, 2022

为语音生成与转换学习潜在表征

使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

Apr, 2017

利用未对齐的语音和文本训练的非监督自动语音识别技术

本文研究无监督语音识别方法，提出由语音向量表示、语义嵌入和无监督转换的框架，这一框架可用于缺乏音频文本对齐数据和受监督方法无法应用的低资源语言。

Mar, 2018

自监督语音表示模型的分层分析

本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

Jul, 2021

自回归联合训练用于离散语音表示学习

通过生成模型和信息论的联合训练，实现了对离散语音表示的学习，发现该方法学习的语音表示与语音单元高度相关

Mar, 2022

学习稳健且多语言的语音表征

本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

Jan, 2020

使用有限领域监督训练自回归语音识别模型

本文探索在有限监督数据的情况下，如何使用半监督学习和自学习相结合的自回归编码器 - 解码器模型处理会话性语音领域，结果表明，在在领域内数据较为有限时，通过 XLS-R 模型自伪转录，使用这种自回归模型比微调 XLS-R 模型的效果更好，可以将 WER 降低 8% 的绝对值。

Oct, 2022

语音增强的语言建模用于文本到语音合成

我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

Jun, 2024

使用 WaveNet 自编码器进行无监督的语音表示学习

本研究旨在通过自编码神经网络从语音波形中提取有意义的潜在表示，并比较三个变体：简单维度约束、高斯变分自编码器和离散量化矢量自编码器，成果表明此方法在 ZeroSpeech 2017 任务中获得了可比拟的表现。

Jan, 2019