May, 2022

使用感知同化模型和最先进的声学模型预测非母语言音知觉

PDF
TL;DR本文通过利用两个先进的语音模型 (Dirichlet process Gaussian mixture model 和 wav2vec 2.0) 的表现来实现一种新的想法，探讨母语对语音感知的影响，以 61 个元音为例，并表明音位同化比精细的语音建模更好地预测区分行为，同时显示 wav2vec 2.0 是较低层次音韵特征的良好模型。
发现论文，激发创造
  • 神经语音识别模型对音位同化的感知

    本研究探讨了神经语音识别模型 Wav2Vec2 如何感知同化声音，并确定模型实现同化补偿的语言知识。通过心理语言学刺激和分析，我们发现不同的语言环境线索如何影响模型输出的补偿模式。我们的实验结果表明，模型在最后的层次将同化的声音从声学形式转变为其基本形式。此外，我们的因果干预实验表明，模型依赖最少的语音环境线索来实现这种转变。这些发现为更好地理解神经自动语音识别模型和人类之间的语音处理相似性和差异性迈出了一步。

    Jun, 2024

  • 非母语口语词语处理的音韵模型

    研究发现，非母语人士在处理口语时存在困难，导致其在词汇记忆的语音编码上不够准确，本研究使用计算模型模拟语音学习，发现有些非母语人士的口音知觉可能是导致这种困难的原因之一。

    Jan, 2021

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 学前儿童语言发展测试中的伪词发音分类

    本研究旨在通过使用不同方法进行语音分析，包括低级特征、说话者嵌入、音素和 ASR 音频模型，使用 VGG - 类 5 层 CNN 分类器，以便自动评估儿童的语言发展是否年龄适宜，证明如果精细调节音素模型，精度可以获得显著提高，并且 ASR 伴音模型提取的语音特征在此任务中表现最佳。

    Jun, 2022

  • 用于自动语音识别的合成跨口音数据增强

    本研究旨在改进口音转换模型，通过加入声学知识，提高模型对不同口音发音的准确性，采用生成数据训练 ASR 系统，实验结果表明，合成带有口音的数据有助于提高 ASR 系统对已见口音的语音理解，但不能推广到未见口音及纯母语模型上。

    Mar, 2023

  • 跨口音语音识别上的快速适应学习

    研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

    Mar, 2020

  • 自监督语音模型是否具有类人感知偏见？

    通过研究 wav2vec 2.0，HuBERT 和 CPC 三种最先进的自监督模型的表示空间，与法语和英语人类听众的感知空间作比较，我们发现 CPC 模型具有微小的母语语言效应，但 wav2vec 2.0 和 HuBERT 似乎发展出了一种通用的语音感知空间，而不是针对特定语言的。与受监督的电话识别器的预测比较表明，所有三种自监督的模型捕获了相对精细的知觉现象，而受监督的模型则更擅长捕获听众母语的更粗的电话级效应。

    May, 2022

  • 利用母语信息提高口音识别能力

    本研究提出一种基于使用原生语言（西班牙语和印度语）预训练的端到端循环神经网络多任务学习模型，成功实现对英语口音的识别，相比于其他训练方法，此方法在减小语音中字符错误率方面表现更加优异。

    Apr, 2019

  • 用有限资源通过声学手段量化语言变异

    本研究通过 wav2vec 2.0 模型中提取的嵌入来区分多达 100 种荷兰四种方言的发音差异，结果表明，基于声学模型的方法优于基于电话转录的方法，且 XLSR-53 模型在荷兰方言的微调后表现最佳，仅仅利用六秒的语音，即可得到与实际情况吻合的聚类。

    May, 2022

  • 揭示第一和第二语言单词感知中的远程和近程语境效应：心理物理逆相关的研究

    用逆相关方法系统地改变英语（/i/-/I/）和法语（/u/-/y/）的第二语言（L2）说话者语速和音高，从而重建偏向他们感知的韵律特征，发现元音感知实际上受到来自周围音高和语速的相冲突效应的影响，且 L1 和 L2 说话者在感知上表现出惊人的相似韵律特征。为研究跨刺激、时间尺度和声学领域的声学背景效应提供了一种新方法。

    Jun, 2024