结合谱特征和自监督特征进行低资源语音识别和翻译

Apr, 2022

结合谱特征和自监督特征进行低资源语音识别和翻译

Combining Spectral and Self-Supervised Features for Low Resource Speech Recognition and Translation

Dan Berrebbi, Jiatong Shi, Brian Yan, Osbel Lopez-Francisco, Jonathan D. Amith...

TL;DR该研究旨在探索将非学习的谱特征 (SF) 提取器与自我学习模型相结合的有效性，结果表明，该方法显著优于自我学习模型和基线模型，在语音识别和语音翻译两种任务中都表现出更好的性能，在自我学习培训集和目标语言数据存在域不匹配情况时，自我学习模型的相对贡献非常小。

Abstract

self-supervised learning (SSL) models have been successfully applied in various deep learning-based speech tasks, particularly those with a limited amount of data. However, the quality of SSL representations depends highly on the relatedness between the SSL training domain(s) and the t

self-supervised learning spectral feature extractors low resource speech tasks automatic speech recognition speech translation

发现论文，激发创造

分析影响基于自监督预训练表示在语音识别中的有效性因素

本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

Mar, 2022

自监督语音模型在音频表示方面的功效

本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

Sep, 2022

探索面向通用音频理解的联邦自监督学习

通过将联邦学习（FL）与自监督学习（SSL）相结合，可以在不损害用户数据隐私的情况下利用音频数据进行通用音频理解。本文评估了在大规模非独立同分布（non-iid）数据生成的情况下，将特征匹配和预测式音频自监督学习技术与 FL 相结合的性能，提出一种名为 FASSL 的新型联邦自监督学习（F-SSL）框架，并通过广泛实验证明了 FASSL 的有效性和重要性，从而有助于获得最佳的全局模型。

Feb, 2024

一种通用的自监督学习 (SSL) 框架，用于从未标记的遥感图像的光谱 - 空间特征中进行表征学习

本研究设计了一种新的自监督学习框架，可以从未标记数据的光谱 - 空间信息中学习表示，并通过两个典型的下游任务评估证明，所提出的 SSL 获得了模型性能的显著提高。

Jun, 2023

大规模自监督学习的语音分离

本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

Nov, 2022

对比自监督学习和非对比自监督学习恢复全局和局部谱嵌入方法

本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

May, 2022

探究自监督预训练模型的集成特征在自动语音识别中的应用

本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

Jun, 2022

探索自监督学习表征中的语音分离与识别集成

深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

Jul, 2023

MOS 预测系统中语音表示的比较

本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。

Jun, 2022

理解自监督模型作为跨语言特征提取器的量化方法

通过对英文自监督学习模型在跨语言环境中提取的特征进行研究，我们提出了一种新的度量标准来预测特征表示的质量。使用自动语音识别作为下游任务，我们分析了模型大小、训练目标和模型架构对一组拓扑多样的语料库中模型作为特征提取器的性能的影响。我们开发了一种新的度量标准，即 Phonetic-Syntax Ratio (PSR)，通过深度广义典型相关分析来衡量提取表示中的音标和合成信息。结果表明，wav2vec2.0 目标中的对比损失有助于更有效的跨语言特征提取。PSR 分数与自动语音识别性能呈正相关，表明单语自监督学习模型提取的音标信息可以用于跨语言设置中的下游任务。提出的度量标准是表示质量的有效指标，可用于模型选择。

Nov, 2023