Jun, 2024

神经语音识别模型对音位同化的感知

PDF
TL;DR本研究探讨了神经语音识别模型 Wav2Vec2 如何感知同化声音，并确定模型实现同化补偿的语言知识。通过心理语言学刺激和分析，我们发现不同的语言环境线索如何影响模型输出的补偿模式。我们的实验结果表明，模型在最后的层次将同化的声音从声学形式转变为其基本形式。此外，我们的因果干预实验表明，模型依赖最少的语音环境线索来实现这种转变。这些发现为更好地理解神经自动语音识别模型和人类之间的语音处理相似性和差异性迈出了一步。
phonological changesspeech perceptionneural speech recognition modelassimilationautomatic speech recognition
发现论文，激发创造
  • 使用感知同化模型和最先进的声学模型预测非母语言音知觉

    本文通过利用两个先进的语音模型 (Dirichlet process Gaussian mixture model 和 wav2vec 2.0) 的表现来实现一种新的想法，探讨母语对语音感知的影响，以 61 个元音为例，并表明音位同化比精细的语音建模更好地预测区分行为，同时显示 wav2vec 2.0 是较低层次音韵特征的良好模型。

    May, 2022

  • 一个预测性学习模型可以模拟连续语音的神经表示中发现的时间动力学和上下文效应

    模拟了从计算模型中提取的表示进行的分析揭示了与大脑信号相似的时间动态，这表明这些特性可以在没有语言知识的情况下出现。此外，研究证明，声素的编码模式支持一定程度的跨语境概括，但我们发现这种概括的有效性取决于具体的语境，这表明单独的分析不足以支持存在语境无关编码。

    May, 2024

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 非母语口语词语处理的音韵模型

    研究发现，非母语人士在处理口语时存在困难，导致其在词汇记忆的语音编码上不够准确，本研究使用计算模型模拟语音学习，发现有些非母语人士的口音知觉可能是导致这种困难的原因之一。

    Jan, 2021

  • 神经网络捕捉类人语音识别的成功与关键失败

    本研究通过实验，评估了最先进的神经网络作为 “可计算的、优化的观察者” 在语音识别方面的表现，并发现了人类和人类机理学习中的不同之处，为听觉认知科学和工程之间建立更紧密的联系提供了启示。

    Apr, 2022

  • 听觉词汇识别与整合的神经动力学

    本文报道了一种基于贝叶斯决策理论的语音识别计算模型，并通过 EEG 信号记录揭示了字词识别和整合的神经相关性，支持了语音理解的两个部分模型。

    May, 2023

  • 探究自动语音识别系统对 L2 英语语音变异的敏感性

    使用一种探测方法，发现了 ASR 系统处理在 L2 英语方言中的发音差异时，出现了声素级别的错误并产生了更高的 WER。这项工作系统地说明了 ASR 的行为，通过确定特定问题的物质来源来提高 ASR 的准确性。

    May, 2023

  • 自监督语音模型探测音素和音位信息：以送气现象为案例研究

    本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

    Jun, 2023

  • 通过自监督学习构建一个真实的大脑语音处理模型

    本论文针对语音识别的问题，提出自我监督学习可能是解决这一问题的一个更好的选择，核心是自己生成特征，通过自我监督可以获得和人脑工作方式类似的神经网络模型，帮助理解语言习得和人脑在语音处理方面的机理。

    Jun, 2022

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022