Jul, 2024

神经语音模型中的人类语言偏置: Wav2Vec2.0 中的音位分类和音律限制

PDF
TL;DR探讨深度神经语音模型对语音学的了解，研究 Wav2Vec2 模型在解决音位法约束方面的交互作用，发现模型对有歧义的声音表现出对语音音位学上可接受的类别的偏好，并通过控制的刺激设计来定位模型中具体的语言知识。
deep neural speech modelsphonologywav2vec2phonotactic constraintslinguistic knowledge
发现论文，激发创造
  • 神经语音识别模型对音位同化的感知

    本研究探讨了神经语音识别模型 Wav2Vec2 如何感知同化声音，并确定模型实现同化补偿的语言知识。通过心理语言学刺激和分析，我们发现不同的语言环境线索如何影响模型输出的补偿模式。我们的实验结果表明，模型在最后的层次将同化的声音从声学形式转变为其基本形式。此外，我们的因果干预实验表明，模型依赖最少的语音环境线索来实现这种转变。这些发现为更好地理解神经自动语音识别模型和人类之间的语音处理相似性和差异性迈出了一步。

    Jun, 2024

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018

  • 隐式口语分片

    本研究探讨了利用深度学习的端到端 x - 向量方法进行语音流言分离的性能表现，并发现预训练的 wave2vec 嵌入可以提供近 30% 的错误率改进。

    Jun, 2023

  • 建模语音变化的神经表征

    研究使用自我监督的神经模型从语音中提取声学嵌入，计算非英语母语和英语母语以及挪威方言发音之间的基于单词的差异，并发现使用转换器的神经模型提取的语音表示与人类感知匹配得更好。

    Nov, 2020

  • 自监督语音模型探测音素和音位信息：以送气现象为案例研究

    本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

    Jun, 2023

  • 使用 Wav2Vec 2.0 识别器进行深度 LSTM 口语检测

    本文利用基于字符的 Wav2Vec2.0 模型进行了大规模口语文档中的术语检测任务，实验结果表明，使用基于深度 LSTM 网络的共享发音嵌入空间的 bootstrapping 方法将 DNN-HMM 混合 ASR 的传统发音词汇的知识转化到基于图形的 Wav2Vec 中，能够显著优于 DNN-HMM 混合 ASR 和音素识别器的组合系统。

    Oct, 2022

  • 神经传输器中的鲁棒声学语义上下文偏置在语音识别中的应用

    研究提出一种轻量级字符表示的方法来编码精细的发音特征，以提高基于声学相似性的情境偏倚，在与音频和情境实体相关的语义上执行情境偏倚，并集成预训练的神经语言模型（NLM）。在 Librispeech 数据集上进行的实验表明，在不同的情境偏见列表大小上，采用提出的声学偏倚和语义偏倚方法，相对于基线情境模型，Conformer Transducer 模型相对 WER 提高了 4.62％-9.26％。在大规模的内部数据集上，相对于基准模型，相对 WER 的提高为 7.91％。在 Librispeech 稀有单词和内部测试集上，尾部话语的表现甚至更加显著，分别实现了 36.80％和 23.40％的相对 WER 改善。

    May, 2023

  • 非母语口语词语处理的音韵模型

    研究发现，非母语人士在处理口语时存在困难，导致其在词汇记忆的语音编码上不够准确，本研究使用计算模型模拟语音学习，发现有些非母语人士的口音知觉可能是导致这种困难的原因之一。

    Jan, 2021

  • 口语词汇的音义嵌入及其在口语内容检索中的应用

    本文介绍了一种两阶段框架，用于考虑口语单词的上下文执行音素语义嵌入，第一阶段执行音素嵌入，第二阶段执行语义嵌入，我们进一步提出了通过文本嵌入并行评估在第二阶段获得的音频嵌入的音素和语义性质。

    Jul, 2018

  • 口语化 Word2Vec: 观点与技术

    研究探讨了在使用 Word2Vec 算法时，当输入单元与声学相关时，如何无法编码分布语义。同时，对以文本为基础的嵌入进行自动词类聚类的简化方法也被忽视，而这正是该任务中真正的挑战所在。

    Nov, 2023