无监督神经语音表示学习概述

AAAIMar, 2022

A Brief Overview of Unsupervised Neural Speech Representation Learning

Lasse Borgholt, Jakob Drachmann Havtorn, Joakim Edin, Lars Maaløe, Christian Igel

TL;DR本文回顾了过去十年中无监督表示学习在语音处理领域的发展，归纳了自监督方法和概率隐变量模型这两类主要模型，提出了全面的分类方法，并讨论了这两类模型。

Abstract

unsupervised representation learning for speech processing has matured greatly in the last few years. Work in computer vision and natural language processing has paved the way, but speech data offers unique chall

unsupervised representation learning speech processing self-supervised methods probabilistic latent variable models taxonomy

发现论文，激发创造

自监督语音表示学习：综述

本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

May, 2022

面向效率的自监督语音表示学习方法

自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。

Dec, 2023

无监督自回归模型用于语音表示学习

本文提出了一种新颖的无监督自回归神经模型，用于学习通用的语音表示，通过无需音素或单词边界标签的方法，从大量未标记数据中学习。我们的模型的语音表示显著提高了电话分类和说话人验证的性能，并且我们的分析表明，不同级别的语音信息由我们的模型在不同层次上捕获。

Apr, 2019

为语音生成与转换学习潜在表征

使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

Apr, 2017

自监督表示学习：介绍、进展与挑战

介绍了自监督学习的基本概念、方法和应用，探讨了自监督学习在不同数据模态下的表现，包括图像、视频、音频和文本，并讨论了其实用性和存在的问题。

Oct, 2021

走向无监督表示学习：学习、评估和传递视觉表示

无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

Nov, 2023

演讲处理中的深度表示学习：挑战、最新进展和未来趋势

本文介绍了语音表征学习的不同技术的最新综述，将分散的研究汇集到了自动语音识别、说话人识别和说话人情感识别三个研究领域中，并弥补了以前综述中没有涉及语音表征学习的空白。

Jan, 2020

语音表示学习：使用单视角、多视角和多任务方法进行双向编码器学习

该论文研究了使用表示学习改进时间序列或空间序列数据的下游预测任务，通过使用学习到的表示。它主要涵盖了表示学习的多个设置，包括有监督学习、无监督学习、半监督学习和多视角学习，并探索了多种方法，特别关注于语音数据。

Jul, 2023

通过自监督学习构建一个真实的大脑语音处理模型

本论文针对语音识别的问题，提出自我监督学习可能是解决这一问题的一个更好的选择，核心是自己生成特征，通过自我监督可以获得和人脑工作方式类似的神经网络模型，帮助理解语言习得和人脑在语音处理方面的机理。

Jun, 2022

学习稳健且多语言的语音表征

本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

Jan, 2020