Jun, 2023

自我监督的语音模型对单词的了解程度如何？

PDF
TL;DR本研究发现，不同的自监督语音模型可以在不同的层次编码语言特征，在中间层最大程度地捕获了词级的信息，同时在较高层保留了发音等低层次信息，并用在无额外参数的情况下测试了这些模型的层次表现，同时发现使用 HuBERT 或 WavLM 的最佳表现层可以实现与更复杂的方法相媲美的词分割和语义句子相似性的表现。
self-supervised speech modelslinguistic informationword segment representationscanonical correlation analysissemantic sentence similarity
发现论文，激发创造
  • 自我监督的语音表征更加语音学而非语义学

    本研究通过对自监督语音模型 (S3Ms) 的单词级别语言属性进行细致分析，发现 S3M 表示对于音韵相似性的相似度比语义相似性更高，并提出了对广泛使用的目标分类数据集进行语义能力评估的疑问。实验证明，即使只使用单词自身的信息，也能超越基于 S3M 的模型，在一些数据集上获得更高的性能，从而证实了研究结果，并暗示高分并不一定意味着语义内容的存在。

    Jun, 2024

  • 自监督语音模型的分层比较分析

    本研究使用基于规范相关性分析（CCA）的轻量级分析工具，考察了多种最近模型的中间表示，发现它们所编码的属性在不同层次上发展，变化与预训练目标的选择有关，进一步探究了这种分析在下游任务中的实用性，并发现 CCA 趋势为选择下游任务感兴趣的层提供了可靠的指导，单层性能往往与使用所有层相当或更好，这意味着更有效利用预训练模型的启示。

    Nov, 2022

  • 自监督语音表示模型的分层分析

    本研究使用一套分析工具研究一款较新的波形自编码预训练语音表征模型，发现其中间表征向量所包含的声学信息和语言信息内容，并研究了自动语音识别（ASR）微调对这些观察结果产生的影响，为此提出了一个修改方案，并证明其在低资源设置中提高了单词错误率的表现。

    Jul, 2021

  • 利用子词信息学习词表示的系统研究

    本研究通过对五种语言的三个任务进行大量实验研究，发现在利用子词级别信息进行词表示学习时，不同语言和任务下，分词和组成函数等关键组件的最优配置各异。同时，我们还发现，一些无监督分词方法，如 BPE 和 Morfessor 等，有时能够和甚至超过一些基于监督分词方法的配置。

    Apr, 2019

  • 自监督语音模型探测音素和音位信息：以送气现象为案例研究

    本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

    Jun, 2023

  • 自我监督的语音和说话者模型学到了什么？来自跨模型逐层分析的新发现

    该研究探索了自监督学习模型在捕捉语音和说话者表示方面的能力，并发现具体层次的语音模型更专注于捕捉语言信息，而说话者模型则更注重对说话者表示的提炼。

    Jan, 2024

  • 改进特征的语音分割和词库学习再探

    我们重新审视了一种自我监督的方法，将未标记的语音分割成类似词的段落。我们从两阶段的惩罚持续时间的动态规划方法开始，进行零资源分割，而无需学习明确的词汇表。在第一阶段的声学单元发现阶段，我们用 HuBERT 替换对比预测编码特征。在第二阶段的词语分割之后，我们通过平均 HuBERT 特征获得每个段落的声学词嵌入。使用 K-means 对这些嵌入进行聚类，以获得一个词汇表。结果是具有良好覆盖率的分割，其词汇表在 ZeroSpeech 基准测试中达到了最先进的性能。

    Jan, 2024

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022

  • 自监督学习用于语音识别中间层辅助训练

    利用中间层监督自监督学习（ILS-SSL）对语音预训练模型进行优化，可以更好地集中于音频内容信息学习，从而实现识别性能的提高，并且在语言模型不被使用情况下，相对字错率下降 23.5%。

    Dec, 2021

  • 神奇的语义与去寻找它们：探究生成语言模型中反映词汇语义的层面

    大型语言模型中的词汇语义在不同层次上具有不同的演化形式，较低层次的表示编码了词汇语义，而较高层次的表示则更适用于预测任务。

    Mar, 2024