本文中，我们提出了一个模型，该模型使用卷积神经网络对能量和音高轨迹进行耦合，并使用基于注意力机制的循环神经网络，接受文本和韵律特征，并结合转录文本和声学-韵律特征，以自动解析口语话语，并发现不同类型的声学-韵律特征都有助于解析，对比一个强文本基线，该模型取得了显著的改进。错误分析表明，声学-韵律特征的主要优点在于有误流畅度的句子，附加决策得到最大的改进，文本转录错误掩盖了音韵的改进。

Apr, 2017

本研究旨在探究语调在非分段语音解析中的作用。在英语Switchboard语料库的实验中，我们发现语调对模型的解析性能和句子边界识别准确性有所帮助，但最佳解析器并不一定产生最佳句子分割性能，最佳解析来自于将句子边界与其他成分边界联合建模。

Feb, 2023

为了提高端到端文本转语音（TTS）的自然程度和可理解性，本文提出了一种情感感知的韵律短语模型（EmoPP），准确挖掘话语的情感线索并预测适当的短语断点，并通过客观和主观评估证明EmoPP在情感表达能力方面优于所有基线模型，取得了显著的性能。音频样本和代码可在https://github.com/AI-S2-Lab/EmoPP获取。

Sep, 2023

语调在某种程度上与言语本身及其前后的上下文的信息重复，但仍然包含超越语言的信息。使用大型语言模型，本研究通过英文有声读物中提取的韵律特征与LLMs嵌入之间的预测性比较，发现多个韵律特征（包括强度、持续时间、停顿和音调曲线）与言语的信息具有高度的冗余性。然而，仅通过文本无法完全预测语调特征，进一步暗示了语调包含超越言语的信息。

Nov, 2023

非语言信号编码通过韵律传达从交流行为到态度和情感的信息。本文提供了一个分析框架和技术概念验证，用于对韵律信号进行分类和与意义相关的关联。该分类过程通过微调预训练的语音识别模型实现，能够同时进行多类别/多标签检测。此外，解释韵律模式可以指导沟通和语音组织理论的发展，且可增强与语音和语言相关的技术的解释能力。

Mar, 2024

该研究开发了第一个人类判断话语对之间的语用相似性的人类评价数据集，并在英语和西班牙语上获得了较高的平均评委相关性，从而为训练语音合成器、评估机器翻译和评估学习者表现提供了自动话语相似性度量的基础。

Mar, 2024

简化口述精确性在语音中很普遍，但对话语的声学特性和语用功能研究较少。本研究报告弥补了这一空白，报告了使用简单声学/韵律特征的对话语简化预测基线模型，实现了英语和西班牙语的与人类感知相关性分别为0.24和0.17，同时提供了英语简化的其他可能语用功能的例子以及各种讨论、观察和猜测。

May, 2024

用逆相关方法系统地改变英语（/i/-/I/）和法语（/u/-/y/）的第二语言（L2）说话者语速和音高，从而重建偏向他们感知的韵律特征，发现元音感知实际上受到来自周围音高和语速的相冲突效应的影响，且L1和L2说话者在感知上表现出惊人的相似韵律特征。为研究跨刺激、时间尺度和声学领域的声学背景效应提供了一种新方法。

Jun, 2024

本研究解决了现有口音转换系统未能区分非母语口音中的音节和韵律特征的问题。通过提出一种新颖的口音转换系统，能够独立操作这两种特征，研究表明音节特征对非母语speech理解的影响大于韵律，可能改变社会对非母语speech的态度。

Aug, 2024

本研究探讨了讽刺的声学特征，分析讽刺用语使用的倾向与信号讽刺的韵律线索之间的相互作用。研究发现，当讽刺意义在语义上明显时，韵律线索的相关性较低，表明在短语层面上，韵律与语义线索之间存在一种权衡。这一发现揭示了语义丰富的讽刺表达对韵律调制的依赖程度降低，进一步阐明了表达讽刺意图的复杂互动。

Aug, 2024