MMMay, 2021

超声舌像的自动视听同步

PDF
TL;DR本文介绍了一种基于神经网络的自动同步超声波和语音数据方法，首先研究了专家对同步误差的容忍度，然后训练网络以实现数据同步。在多个领域的数据集上进行训练，该方法在同一领域内的数据上的精度大于 92.4％，并在新领域的数据上进行了测试，结果表明该方法的输出优于硬件同步数据 79.3％的时间。
ultrasound tongue imagingsynchronisationneural networkspeech productionintra-oral articulators
发现论文，激发创造
  • 基于 DNN 的声学到发音器反演，使用超声舌像

    本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

    Apr, 2019

  • 儿童语音中原始超声波音素段的说话人无关分类

    本文研究使用超声舌头成像技术对语音产生的过程进行可视化，并通过多种训练方案探讨了从原始超声记录中对语音的分类方法，研究表明，提供最少的额外讲话者信息可以有助于模型更好地推广到未知的讲话者中。

    Jul, 2019

  • 利用跨领域和跨语言的超声舌影像特征进行老年人和发音障碍者语音识别

    本文提出了一种跨领域和跨语言的 A2A 反演方法，利用 24 小时 TaL 语料库的并行音频和超声舌成像数据，将其在 A2A 模型预训练时进行交叉领域和跨语言适应，以产生基于超声口腔影像的发音特征。实验表明，将生成的发音特征纳入自动语音识别系统中，相对于仅使用声学特征的基线 TDNN 和 Conformer ASR 系统，应用数据增强、扬声器适应和跨系统多通道解码后，单词或字符错误率降低了最多 4.75％、2.59％和 2.07％的绝对误差（相对误差最高可达 14.69％、10.64％和 22.72％）。

    Jun, 2022

  • TaL：一份同步的多说话人的舌头超声成像、音频和嘴唇视频语料库

    本文介绍了 Tongue and Lips 语料库（TaL）的数据来源和处理方式，并在多个任务上对该语料库进行了基准测试，结果表明 TaL 可以用于语音识别和语音合成等任务。

    Nov, 2020

  • 利用自监督学习和注意力机制改进通过唇图像重建的超声舌图像

    本文探讨了如何通过可观察的唇部图像序列，预测相应的舌头运动，使用自监督学习，卷积网络和长短时记忆网络模型，并通过预测未来的超声波舌头图像序列来评估模型性能，结果表明我们的模型能够生成接近真实超声波舌头图像，并将图像模态之间的匹配提高了。

    Jun, 2021

  • 声道动力学超声图像序列的小型词汇数据库

    本文介绍了一个包含同时记录声音与口腔运动数据的新数据库。通过超声视频记录的口腔运动数据可以对语音产生过程中的舌头上轮廓进行可视化。声学数据由定向心形麦克风采集的 30 个短句组成。此数据库包括来自哥伦比亚圣塔德尔地区的 17 名年轻志愿者（8 男性和 9 女性），他们声称没有任何语音病理。

    Aug, 2023

  • 野外音视频同步

    本研究提出基于 transformer 的架构和度量标准用于评估各种类别下的音频 - 视频同步，并使用新的 VGG-Sound Sync 数据集测试。结果表明，我们的模型优于先前的最先进技术。

    Dec, 2021

  • 将语音信号转换为超声舌影像数据的音频 - 文本扩散模型

    本文提出了一种音频文本扩散模型用于 UTI 数据生成任务，通过编码个人的固有声学特征和与舌头运动相关的 ASR 转录，最终生成了具有清晰舌轮廓的高质量 UTI 数据，对于语言分析和临床评估至关重要。

    Mar, 2024

  • 无监督对比式视频 - 语音表征学习 —— 超声波应用

    本文提出了一种用于医学图像处理的自监督学习方法，该方法可以从多通道超声视频和相应的言语音频数据中学习有意义的图像特征，评价结果表明该方法可以用于标准平面检测和视线预测等向下流任务。

    Aug, 2020

  • 展示而非描述：临床场景中的音视建模

    本文介绍了一种在临床环境中的音频 - 视觉建模方法，提供了一种无需人工专家标注的学习医学表征的解决方案，通过只有语音音频作为参考，可以定位超声成像中感兴趣的解剖区域。在大规模临床多模式超声视频数据集上的实验评估表明，该自我监督方法学习到的良好可迁移的解剖表征可以提高自动化的下游临床任务的性能，甚至超过完全监督的解决方案。

    Oct, 2023