Mar, 2022

走向一个共同的语音分析引擎

PDF
TL;DR本文提出了基于 HuBERT 自监督语音表示法的通用语音分析引擎架构，能够处理多个语音处理任务并支持小型数据集的新任务。实验结果表明，在语言识别和情感识别任务上，该引擎的表现超过了现有的最高水平，并且在使用少量训练数据的情感识别任务上也具有改进的能力。
self-supervised representation learningspeech processingcommon speech analysis enginehubertemotion recognition
发现论文，激发创造
  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 面向效率的自监督语音表示学习方法

    自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。

    Dec, 2023

  • 利用自监督语音表示进行 L2 熟练度评估

    本文介绍一种基于自监督语音表示的自动口语评估系统，并将其与传统的基于语音识别和基于文本的评估系统进行比较。研究结果表明，该系统可以在适当情况下与其他系统媲美甚至取得更好的表现。

    Nov, 2022

  • 注意力和自监督语音嵌入对非语义语音任务的影响

    人类情绪理解对于推动对话技术走向主流至关重要。我们视语音情绪理解为一项感知任务，这是一个更加现实的设置。通过在 ACM Multimedia 2023 计算跨语音信息挑战（ComParE）中利用其丰富的多语种演讲者数据集和 ' 情感共享 ' 多标签回归目标，我们展示了不同基础模型的训练方案对于超越语音识别等非语义语音任务（例如情绪理解）的效果产生重要影响，尤其是针对多语种演讲者、目标标签的可变性以及回归数据集中的固有不平衡性，我们的结果表明，基于自注意力的轻量级序列模型 HuBERT-Large 相较于报告的基准线有 4.6% 的改进。

    Aug, 2023

  • 多个自监督任务中学习与问题无关的语言表征

    本论文提出一种改进的自监督学习方法，其中单个神经编码器由多个工作人员共同解决不同的自监督任务，该方法可学习传输、强健和面向问题的特征，这些特征中包含了从语音信号中提取的相关信息，如讲话者身份、音素和情感线索。

    Apr, 2019

  • 自监督预训练表示在端到端语音识别中的探索

    本文探讨了预训练语音模型在 E2E-ASR 中的潜在应用，发现在一些 ASR benchmark corpora 上，使用预训练模型能够超越当前最先进的识别性能。其中，HuBERT 模型表现尤为突出，实验代码和模型参数已开源。

    Oct, 2021

  • 通过自监督学习构建一个真实的大脑语音处理模型

    本论文针对语音识别的问题，提出自我监督学习可能是解决这一问题的一个更好的选择，核心是自己生成特征，通过自我监督可以获得和人脑工作方式类似的神经网络模型，帮助理解语言习得和人脑在语音处理方面的机理。

    Jun, 2022

  • 演讲处理中的深度表示学习：挑战、最新进展和未来趋势

    本文介绍了语音表征学习的不同技术的最新综述，将分散的研究汇集到了自动语音识别、说话人识别和说话人情感识别三个研究领域中，并弥补了以前综述中没有涉及语音表征学习的空白。

    Jan, 2020

  • 自监督语音和语言模型预训练的半监督口语理解

    本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

    Oct, 2020

  • 可持续的自我监督学习用于语音表示

    可持续人工智能聚焦于通过对数据、硬件和算法的优化来使机器学习模型更加环保。我们提出了一个可持续的自监督模型，用于学习语音表征，结合神经层和训练的优化以降低计算成本，并通过将其与资源高效模型进行比较，在内存使用和计算成本上实现了数量级的改进。

    Jun, 2024