Jun, 2024

自我监督的语音表征更加语音学而非语义学

PDF
TL;DR本研究通过对自监督语音模型 (S3Ms) 的单词级别语言属性进行细致分析，发现 S3M 表示对于音韵相似性的相似度比语义相似性更高，并提出了对广泛使用的目标分类数据集进行语义能力评估的疑问。实验证明，即使只使用单词自身的信息，也能超越基于 S3M 的模型，在一些数据集上获得更高的性能，从而证实了研究结果，并暗示高分并不一定意味着语义内容的存在。
发现论文，激发创造
  • 自我监督的语音模型对单词的了解程度如何？

    本研究发现，不同的自监督语音模型可以在不同的层次编码语言特征，在中间层最大程度地捕获了词级的信息，同时在较高层保留了发音等低层次信息，并用在无额外参数的情况下测试了这些模型的层次表现，同时发现使用 HuBERT 或 WavLM 的最佳表现层可以实现与更复杂的方法相媲美的词分割和语义句子相似性的表现。

    Jun, 2023

  • 语音表征的语义丰富化

    本研究旨在通过对 SAMU-XLSR 模型进行领域特定语义丰富的专业化，探索这种模型在低资源语言移植中的使用效益，并研究该模型的跨领域能力，以更好地实现复杂口语理解任务中的语义提取。

    Jul, 2023

  • 自监督语音模型探测音素和音位信息：以送气现象为案例研究

    本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

    Jun, 2023

  • 自我监督的口语语言模型中的声调编码

    自监督语言模型在编码语音的各个层面上揭示了许多特征，本文通过分析普通话和越南语来研究语言模型对音调的编码能力，发现即使在使用非语调语言的数据进行训练时，语言模型仍然在很大程度上编码了词汇音调。同时，发现语言模型在音调和辅音感知研究中表现出与母语和非母语人类参与者相似的行为，但并没有遵循相同的发展轨迹。

    Mar, 2024

  • 同音字揭示真相：针对 Speech2Vec 的现实检验

    本文检验了 Speech2Vec 模型的效果，发现其未能学习到有效的语义嵌入，并怀疑原文中提到的语音词向量是由一个基于文本的模型生成的。

    Sep, 2022

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 利用语境和音素表示从原始音频信号中学习语义信息

    我们提出了一种框架，使用两种类型的表示，分别编码上下文和语音信息，从原始音频信号中学习语义。通过引入一种语音到单元处理流程，以不同的时间分辨率捕捉两种类型的表示。对于语言模型，我们采用双通道架构来结合这两种表示。我们还提出了新的训练目标，即掩蔽上下文重建和掩蔽上下文预测，可以有效地推动模型学习语义。在 Zero Resource Speech Benchmark 2021 和流畅语音命令数据集上的实验证明，我们的框架比只使用一种类型表示训练的模型更好地学习语义。

    Feb, 2024

  • 将语义引入语音编码器

    本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

    Nov, 2022

  • 自监督语音表示模型的分层分析

    本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

    Jul, 2021