通过声音的产生水平，我们以声韵学为基础，定义了一个由声门化、紧张度和共振三个维度构成的框架（GTR），来研究表达性语音合成，记录了一个包含 20 个中文句子以及 125 个不同 GTR 组合的高质量语音数据集（GTR-Voice），并通过自动分类和听力测试验证了该框架和 GTR 注释的精确可控性，并在两个经过微调的表达性 TTS 模型上展示了 GTR 维度上的精确控制能力，同时也开源了数据集和 TTS 模型。

Jun, 2024

使用关节建模和深度学习研究了如何在自我监督情况下使用关节信息发现语音单元，并在实验中发现联合使用关节和语音学模态可以更准确地表示这些语音学维度。

Jun, 2022

本研究评估了利用多分辨率频谱时间特征作为声学特征对语音信号进行表达，从而从听觉皮层表征语音信号的好处，以推测相应信号的发音学特征。研究使用了威斯康辛大学 X 光微束（XRMB）数据库的语音信号来训练前馈深度神经网络（DNN）以估计 6 个道路变量的发音轨迹。实验结果表明，该方法与利用 Mel 频率倒谱系数的先前实验相比，能达到更高的相关性（0.675）。

Mar, 2022

利用实时磁共振成像技术进行声道建模时的挑战和解决方案，通过视觉分割和多模态算法提高 MR 图像中声道部分的分割准确性，并释放了一个包含 75 个说话人的 RT-MRI 数据集的标注，增加了 9 倍以上的公共 RT-MRI 声道数据数量。

Jun, 2024

本研究探讨从口型运动学信号分解得到的语音表征，采用神经实现的卷积稀疏矩阵分解技术将口型数据分解为可解释的手势和手势得分，进而成功编码语音学信息，为深度神经网络的信息化、可读性、可解释性和高效性提供了可行的指导。

Apr, 2022

通过研究自监督学习模型，本文展示了模型对语音内部表征与不同方面的关联，以及模型将声学信息转化为语音信号基础的原因动力学的能力，同时发现这种抽象几乎在所有语言中都有重叠，尤其喜欢同一音韵系统的语言。此外，研究还表明使用简单仿射变换，声学到语音的反演能力可以跨发音者、性别、语言和方言传递，显示了这一属性的普适性。这些结果揭示了自监督学习模型内部机制，对其卓越性能至关重要，同时为可解释性和基于语音科学的语言不可知通用语音工程模型开辟了新的方向。

Oct, 2023

本文研究了自监督学习模型与电磁发音学之间的联系，发现这些模型学习到了与语音连续性运动高度相关的表示，并建议这为人工智能技术的未来发展带来了新的启示。

Oct, 2022

本文介绍了一个包含同时记录声音与口腔运动数据的新数据库。通过超声视频记录的口腔运动数据可以对语音产生过程中的舌头上轮廓进行可视化。声学数据由定向心形麦克风采集的 30 个短句组成。此数据库包括来自哥伦比亚圣塔德尔地区的 17 名年轻志愿者（8 男性和 9 女性），他们声称没有任何语音病理。

Aug, 2023

通过引入 Articulatory Generator 至 Generative Adversarial Network 范式，我们提出了一种新的无监督生成语音生成 / 合成模型，它通过学习以完全无监督的方式生成关节表征（电磁关节成像术或 EMA）更加贴近于人类语音生成。研究表明，该网络学会了像人类一样在语音生产过程中控制关节，还能够生成训练分布中存在和缺失的词语，因此对人类语言的认知模型和言语技术产生了重要的影响

Oct, 2022

本文提出了一种语音合成的计算模型，该模型结合了以神经网络为基础的喉咙模型、基于深度神经网络的预测模型和基于递归神经网络的反演模型，从声音数据中自主训练。结果表现出了令人鼓舞的效果。

Apr, 2022