Jul, 2019

儿童语音中原始超声波音素段的说话人无关分类

PDF
TL;DR本文研究使用超声舌头成像技术对语音产生的过程进行可视化，并通过多种训练方案探讨了从原始超声记录中对语音的分类方法，研究表明，提供最少的额外讲话者信息可以有助于模型更好地推广到未知的讲话者中。
ultrasound tongue imagingspeech therapyphonetic segmentsspeaker-dependentspeaker-independent
发现论文，激发创造
  • 儿童语音的原始超声图像自动分级分类

    自动检测语音障碍的提升方法：利用超声舌头成像技术结合深度学习模型，在语音障碍的分类中取得了显著的改善结果，并有助于提高语音治疗诊所中的超声舌头成像分类的效率。

    Feb, 2024

  • 基于 DNN 的声学到发音器反演，使用超声舌像

    本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

    Apr, 2019

  • 将语音信号转换为超声舌影像数据的音频 - 文本扩散模型

    本文提出了一种音频文本扩散模型用于 UTI 数据生成任务，通过编码个人的固有声学特征和与舌头运动相关的 ASR 转录，最终生成了具有清晰舌轮廓的高质量 UTI 数据，对于语言分析和临床评估至关重要。

    Mar, 2024

  • 超声舌像的自动视听同步

    本文介绍了一种基于神经网络的自动同步超声波和语音数据方法，首先研究了专家对同步误差的容忍度，然后训练网络以实现数据同步。在多个领域的数据集上进行训练，该方法在同一领域内的数据上的精度大于 92.4％，并在新领域的数据上进行了测试，结果表明该方法的输出优于硬件同步数据 79.3％的时间。

    May, 2021

  • 利用跨领域和跨语言的超声舌影像特征进行老年人和发音障碍者语音识别

    本文提出了一种跨领域和跨语言的 A2A 反演方法，利用 24 小时 TaL 语料库的并行音频和超声舌成像数据，将其在 A2A 模型预训练时进行交叉领域和跨语言适应，以产生基于超声口腔影像的发音特征。实验表明，将生成的发音特征纳入自动语音识别系统中，相对于仅使用声学特征的基线 TDNN 和 Conformer ASR 系统，应用数据增强、扬声器适应和跨系统多通道解码后，单词或字符错误率降低了最多 4.75％、2.59％和 2.07％的绝对误差（相对误差最高可达 14.69％、10.64％和 22.72％）。

    Jun, 2022

  • 利用自监督学习和注意力机制改进通过唇图像重建的超声舌图像

    本文探讨了如何通过可观察的唇部图像序列，预测相应的舌头运动，使用自监督学习，卷积网络和长短时记忆网络模型，并通过预测未来的超声波舌头图像序列来评估模型性能，结果表明我们的模型能够生成接近真实超声波舌头图像，并将图像模态之间的匹配提高了。

    Jun, 2021

  • 声道动力学超声图像序列的小型词汇数据库

    本文介绍了一个包含同时记录声音与口腔运动数据的新数据库。通过超声视频记录的口腔运动数据可以对语音产生过程中的舌头上轮廓进行可视化。声学数据由定向心形麦克风采集的 30 个短句组成。此数据库包括来自哥伦比亚圣塔德尔地区的 17 名年轻志愿者（8 男性和 9 女性），他们声称没有任何语音病理。

    Aug, 2023

  • 基于空间变换网络的舌头超声无声语音界面适应性

    利用深度学习算法从口腔运动数据中合成出可理解的语音，但相关模型区分度较高，对不同用户快速切换不便。该论文中利用空间变换网络（STN）模块扩展深度网络提高使用噪声下的语音接口模型的适应性，该方法有效降低了标准误差并提高了同一发言者不同录音周期的性能。

    May, 2023

  • TaL：一份同步的多说话人的舌头超声成像、音频和嘴唇视频语料库

    本文介绍了 Tongue and Lips 语料库（TaL）的数据来源和处理方式，并在多个任务上对该语料库进行了基准测试，结果表明 TaL 可以用于语音识别和语音合成等任务。

    Nov, 2020

  • 无监督词语分割与词汇发现：基于声学词嵌入的方法

    提供了一种基于无监督贝叶斯模型的语音分割以及聚类算法，通过将有潜力的单词段嵌入固定维度的声学向量空间，并在此空间创建全词声学模型以及同时执行分割来实现输入语音基于单词类型的完整无人监督标记，模型在连接数字识别任务中取得约 20% 的错误率，优于基于 HMM 的系统。

    Mar, 2016