Oct, 2022

自监督学习语音中发音道模拟的证据

PDF
TL;DR本文研究了自监督学习模型与电磁发音学之间的联系，发现这些模型学习到了与语音连续性运动高度相关的表示，并建议这为人工智能技术的未来发展带来了新的启示。
self-supervised learningspeech representationsartificial intelligencelinear probing approachelectromagnetic articulography
发现论文，激发创造
  • 语音的自监督模型推断通用的发音机制

    通过研究自监督学习模型，本文展示了模型对语音内部表征与不同方面的关联，以及模型将声学信息转化为语音信号基础的原因动力学的能力，同时发现这种抽象几乎在所有语言中都有重叠，尤其喜欢同一音韵系统的语言。此外，研究还表明使用简单仿射变换，声学到语音的反演能力可以跨发音者、性别、语言和方言传递，显示了这一属性的普适性。这些结果揭示了自监督学习模型内部机制，对其卓越性能至关重要，同时为可解释性和基于语音科学的语言不可知通用语音工程模型开辟了新的方向。

    Oct, 2023

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • 通过自监督嵌入和增强道变量改进语音逆转

    通过结合利用自我监督学习模型和改进的几何变换模型，我们提高了从 0.7452 到 0.8141 的皮尔逊积矩相关系数（PPMC）得分，从而增加了 6.9％，从而突出了来自自我监督学习模型和改进的几何变换模型对语音反演系统功能的重大影响。

    Sep, 2023

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 自我监督的语音和说话者模型学到了什么？来自跨模型逐层分析的新发现

    该研究探索了自监督学习模型在捕捉语音和说话者表示方面的能力，并发现具体层次的语音模型更专注于捕捉语言信息，而说话者模型则更注重对说话者表示的提炼。

    Jan, 2024

  • 自监督神经因子分析用于解开话语级语音表示的混杂信息

    通过聚类方法和因子分析模型，使用自监督学习的特征对 SSL 模型进行有监督微调，可用于说话人、情感和语言识别等级别任务，并提供更具有区分性的音频特征表示，此方法在 SUPERB 基准测试中表现良好。

    May, 2023

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022

  • 音频自监督学习：综述

    本文综述了自监督学习在音频处理和语音处理领域中的应用，包括方法、实验和基准数据，并讨论了未来发展方向和存在的问题。

    Mar, 2022

  • 音乐中语音自我监督学习的有效性研究

    通过使用两个音频方案 data2vec1.0 和 Hubert，我们训练了 $12$ 个自监督学习模型，并在 13 个不同的音乐信息检索任务中进行系统评估。我们的研究表明，使用音乐数据进行训练可以提高 MIR 任务性能，即使使用的是设计用于语音的模型，也能取得效果。但是，我们还发现现有的语音定向设计存在一些局限性，特别是在多声部信息建模方面。因此，我们为未来的音乐自监督学习策略和范式提供了实证建议。

    Jul, 2023