Mar, 2024

自发言语中的非语言信息分析新框架

PDF
TL;DR非语言信号编码通过韵律传达从交流行为到态度和情感的信息。本文提供了一个分析框架和技术概念验证，用于对韵律信号进行分类和与意义相关的关联。该分类过程通过微调预训练的语音识别模型实现，能够同时进行多类别 / 多标签检测。此外，解释韵律模式可以指导沟通和语音组织理论的发展，且可增强与语音和语言相关的技术的解释能力。
发现论文，激发创造
  • 基于韵律的语音自动分句和主题划分

    探究在语音数据中使用音韵学信息（从语音的时间和旋律中获得的信息）来实现句子和主题单元的分割，并将其与基于单词的方法相结合，取得了与基于单词的统计语言模型相当甚至更好的性能，而且需要较少的训练数据和手动标签。

    Jun, 2000

  • 量化韵律与文字之间的冗余性

    语调在某种程度上与言语本身及其前后的上下文的信息重复，但仍然包含超越语言的信息。使用大型语言模型，本研究通过英文有声读物中提取的韵律特征与 LLMs 嵌入之间的预测性比较，发现多个韵律特征（包括强度、持续时间、停顿和音调曲线）与言语的信息具有高度的冗余性。然而，仅通过文本无法完全预测语调特征，进一步暗示了语调包含超越言语的信息。

    Nov, 2023

  • 无监督语音重构中解离韵律表示

    本文讨论并提出一种名为 Prosody2Vec 的语音重构模型，能够从无标记的情感语音语料库中学习韵律信息表示，并能在情感语音识别和情感语音转换等任务中有效地实现对韵律特征的捕捉，同时与 HuBERT 表示相结合时表现优于最先进的方法。

    Dec, 2022

  • 语音解析：一种神经方法用于集成词汇和声学 - 韵律信息

    本文中，我们提出了一个模型，该模型使用卷积神经网络对能量和音高轨迹进行耦合，并使用基于注意力机制的循环神经网络，接受文本和韵律特征，并结合转录文本和声学 - 韵律特征，以自动解析口语话语，并发现不同类型的声学 - 韵律特征都有助于解析，对比一个强文本基线，该模型取得了显著的改进。错误分析表明，声学 - 韵律特征的主要优点在于有误流畅度的句子，附加决策得到最大的改进，文本转录错误掩盖了音韵的改进。

    Apr, 2017

  • 基于语言驱动的动态分层变分网络合成不同语调语音

    本研究提出了一种新的层次化有条件变分自编码器，用于生成声调特征，可用于合成语音信号，与现有技术相比具有更高的性能。

    May, 2019

  • 非自回归语音合成的分层韵律建模

    分析了不同韵律建模设置下的非自回归 TTS 模型行为，并提出了一种层次结构，其中基于单词级韵律特征来预测音素级韵律特征的方法，该方法在客观和主观评估中在音频质量和语音韵律自然性方面优于其他竞争对手。

    Nov, 2020

  • 韵律能协助自动分类会话语音中的对话行为吗？

    研究探讨了在自然会话中如何将对话行为自动分类。通过使用语音学特征、词汇信息和特定领域的统计语言模型的组合，可以识别自然对话中各个对话行为，以提供更有效的自然语言处理应用。

    Jun, 2000

  • 计算归纳韵律结构

    本文主要研究语音节奏（prosody）的语法问题，提出了一种基于从低频信号中推导出的语音节奏结构的归纳方法，即 Rhythm Formant Theory 和 Rhythm Formant Analysis 方法，并以朗读的汉语为例，探究了汉语和英语的差异，并得出结论：语言内部的基准化语音或语音对比对于语音的差异性过于简单，需要从物理信号中的语音节奏来研究语音的差异以找到更加准确的结果。

    Dec, 2019

  • 量化语音中词汇和非词汇通道的感知价值

    通过量化非词汇信息对对话期望的感知价值，本文展示非词汇信息在对未来对话的期望中产生一致影响，即使在与仅有词汇内容相比出现较差的鉴别性判断时，它也在参与者之间产生更高的共识。

    Jul, 2023

  • 从声音到语法：探究口语语言模型的句法

    研究了自我监督和视觉基础的多个口语模型对句法的编码方式，证明句法结构被最明显地捕获在中间层，并在参数较多的模型中表现得更加明显。

    May, 2023