本文介绍了 Tongue and Lips 语料库（TaL）的数据来源和处理方式，并在多个任务上对该语料库进行了基准测试，结果表明 TaL 可以用于语音识别和语音合成等任务。

Nov, 2020

本文提出了一种跨领域和跨语言的 A2A 反演方法，利用 24 小时 TaL 语料库的并行音频和超声舌成像数据，将其在 A2A 模型预训练时进行交叉领域和跨语言适应，以产生基于超声口腔影像的发音特征。实验表明，将生成的发音特征纳入自动语音识别系统中，相对于仅使用声学特征的基线 TDNN 和 Conformer ASR 系统，应用数据增强、扬声器适应和跨系统多通道解码后，单词或字符错误率降低了最多 4.75％、2.59％和 2.07％的绝对误差（相对误差最高可达 14.69％、10.64％和 22.72％）。

Jun, 2022

本文介绍了一种基于神经网络的自动同步超声波和语音数据方法，首先研究了专家对同步误差的容忍度，然后训练网络以实现数据同步。在多个领域的数据集上进行训练，该方法在同一领域内的数据上的精度大于 92.4％，并在新领域的数据上进行了测试，结果表明该方法的输出优于硬件同步数据 79.3％的时间。

May, 2021

本文介绍了一个半自动注释的音视频数据库，用于处理自由自然的西班牙语，提供了来自西班牙电视的 13 小时数据。此外，报告了基于隐马尔可夫模型的发言人相关和发言人无关情景的基准结果，这是一种在语音技术领域广泛使用的传统范式。

Nov, 2023

构建了第一个包含多视角信息的中文多模态情感病理性言语数据库，标记了 29 个对照组和 39 个不同程度运动性言语障碍患者表达快乐、悲伤、愤怒和中性情绪的情感言语，并通过精确度、言语可懂性、价值 - 唤醒空间分布和 SCL-90 与疾病严重程度之间的相关性等主观分析来验证其有效性。在语音和声门数据上进行的自动识别表明，对于对照组的音频，平均准确率为 78%，对于患者为 60%；对于声门数据，对照组为 51%，患者为 38%，表明疾病对情感表达的影响。

Dec, 2023

介绍了 UltraSuite，它是一个儿童言语疗法会话录音的超声波和声学数据的精选存储库，包括来自典型发育儿童和患有言语音韵障碍的两组数据集，以及一些手动和自动生产的注释和软件工具，以处理、转换和可视化这些数据。

Jul, 2019

本文提出了一种音频文本扩散模型用于 UTI 数据生成任务，通过编码个人的固有声学特征和与舌头运动相关的 ASR 转录，最终生成了具有清晰舌轮廓的高质量 UTI 数据，对于语言分析和临床评估至关重要。

Mar, 2024

设计并建立了一个包括发音运动学、声学、声门和面部微表情的多模态情感汉语数据库，描述了从语料库设计、被试选择、录音细节和数据处理等方面的详细信息。通过对维度注释数据的统计分析验证了维度注释的有效性。使用支持向量机、卷积神经网络和深度神经网络计算了这七种情感的识别率，结果显示仅使用声学数据识别七种情感的平均识别率约为 82%。因此，该数据库具有高质量，可用作重要的语音分析研究来源，特别是用于多模态情感语音分析任务。

Jan, 2024

本文研究使用超声舌头成像技术对语音产生的过程进行可视化，并通过多种训练方案探讨了从原始超声记录中对语音的分类方法，研究表明，提供最少的额外讲话者信息可以有助于模型更好地推广到未知的讲话者中。

Jul, 2019

本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

Apr, 2019