Sep, 2023

语音错误下的最小有效音韵记忆理论：捕捉局部相关性

PDF
TL;DR口语的演变受语音经济的约束，依赖于人类嘴巴的结构。这导致口语中存在局部语音相关性。我们通过构建一种受许多体物理中的变分模型启发的本地连接张量网络模型来证明这些局部相关性有助于学习口语。该模型因此成为语音记忆的最小模型，其中 ' 学习发音 ' 和' 学习一个单词 ' 是一体的。这一结果是学会产生目标语言中音标合理的新词的能力，同时提供了在说话过程中可能产生的最常见错误的层次结构。我们对该模型在拉丁语和土耳其语单词上进行测试（代码可在 GitHub 上找到）。
发现论文，激发创造
  • 非母语口语词语处理的音韵模型

    研究发现，非母语人士在处理口语时存在困难，导致其在词汇记忆的语音编码上不够准确，本研究使用计算模型模拟语音学习，发现有些非母语人士的口音知觉可能是导致这种困难的原因之一。

    Jan, 2021

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018

  • 自监督语音模型探测音素和音位信息：以送气现象为案例研究

    本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

    Jun, 2023

  • 一个预测性学习模型可以模拟连续语音的神经表示中发现的时间动力学和上下文效应

    模拟了从计算模型中提取的表示进行的分析揭示了与大脑信号相似的时间动态，这表明这些特性可以在没有语言知识的情况下出现。此外，研究证明，声素的编码模式支持一定程度的跨语境概括，但我们发现这种概括的有效性取决于具体的语境，这表明单独的分析不足以支持存在语境无关编码。

    May, 2024

  • 使用深度卷积生成对抗网络学习语音数据中的本地和非本地依赖关系，并生成类似规则的表征

    本文中提出，训练 GANs 以学习语音数据中的局部和非局部依赖关系，提供了洞察深度神经网络如何离散化连续数据以及深度卷积架构中出现类似符号化的基于规则的形态音位学过程的方式。

    Sep, 2020

  • 神经语音模型中的人类语言偏置: Wav2Vec2.0 中的音位分类和音律限制

    探讨深度神经语音模型对语音学的了解，研究 Wav2Vec2 模型在解决音位法约束方面的交互作用，发现模型对有歧义的声音表现出对语音音位学上可接受的类别的偏好，并通过控制的刺激设计来定位模型中具体的语言知识。

    Jul, 2024

  • 具有强延迟约束的连接主义语音识别的动态行为

    本文描述了在具有严格延迟限制的语音语调识别中使用连接主义技术的方法。通过将语音信号输入到关节合成器中，从而实时产生一个合成脸部的嘴唇运动。在不同的延迟条件下，研究了多层感知器学习的时间演化模型与维特比译码器所施加的转移模型之间的相互作用。通过控制语言模型中的时间依赖关系参数进行了两个实验。结果表明神经网络拓扑结构、语言模型中时间依赖关系的长度以及译码器延迟之间存在强烈的相互作用。

    Jan, 2024

  • 语音增强的语言建模用于文本到语音合成

    我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，客观和主观评估验证了我们提出方法的有效性。

    Jun, 2024

  • 自动音素转写的零样本学习

    本研究使用零样本学习的方法解决语言无训练数据情况下语音转写的挑战，将语音音素分解成相应的发音属性，结合定制的声学模型，实现对目标语言中未知音素的识别，评估结果表明，该方法比传统多语言模型的平均音素误差率提高了 7.7%。

    Feb, 2020

  • 基于子空间表示与学习的音系口语语言识别

    本研究提出了一种基于子空间表示的新的学习机制，可用于从话语中提取隐藏的音位结构以进行语言验证和方言 / 口音识别，并通过核机器（如支持向量机和基于子空间的神经网络）的子空间学习实现。

    Mar, 2022