EMNLPNov, 2023

量化韵律与文字之间的冗余性

PDF
TL;DR语调在某种程度上与言语本身及其前后的上下文的信息重复，但仍然包含超越语言的信息。使用大型语言模型，本研究通过英文有声读物中提取的韵律特征与 LLMs 嵌入之间的预测性比较，发现多个韵律特征（包括强度、持续时间、停顿和音调曲线）与言语的信息具有高度的冗余性。然而，仅通过文本无法完全预测语调特征，进一步暗示了语调包含超越言语的信息。
发现论文，激发创造
  • 基于韵律的语音自动分句和主题划分

    探究在语音数据中使用音韵学信息（从语音的时间和旋律中获得的信息）来实现句子和主题单元的分割，并将其与基于单词的方法相结合，取得了与基于单词的统计语言模型相当甚至更好的性能，而且需要较少的训练数据和手动标签。

    Jun, 2000

  • 将韵律和词汇提示整合用于自动主题分割

    文章提出了一种概率模型，使用基础语调和词汇线索对语音进行自动分割，通过隐马尔可夫模型和决策树结合词汇和基础语调信息。作者通过在广播新闻语料库上进行 DARPA-TDT 评估，证明了将基础语调和基于单词的知识源结合可以显著减少错误，并与基于词的分割方法相当竞争力。

    May, 2001

  • BERT 对韵律学习了什么？

    本研究采用了一系列实验，探究了 BERT 模型在不同层次上的语言表征，结果显示它主要依赖句法和语义信息来捕捉音调重音的相关信息。

    Apr, 2023

  • 语音解析：一种神经方法用于集成词汇和声学 - 韵律信息

    本文中，我们提出了一个模型，该模型使用卷积神经网络对能量和音高轨迹进行耦合，并使用基于注意力机制的循环神经网络，接受文本和韵律特征，并结合转录文本和声学 - 韵律特征，以自动解析口语话语，并发现不同类型的声学 - 韵律特征都有助于解析，对比一个强文本基线，该模型取得了显著的改进。错误分析表明，声学 - 韵律特征的主要优点在于有误流畅度的句子，附加决策得到最大的改进，文本转录错误掩盖了音韵的改进。

    Apr, 2017

  • 自发言语中的非语言信息分析新框架

    非语言信号编码通过韵律传达从交流行为到态度和情感的信息。本文提供了一个分析框架和技术概念验证，用于对韵律信号进行分类和与意义相关的关联。该分类过程通过微调预训练的语音识别模型实现，能够同时进行多类别 / 多标签检测。此外，解释韵律模式可以指导沟通和语音组织理论的发展，且可增强与语音和语言相关的技术的解释能力。

    Mar, 2024

  • 使用韵律和语言特征探究基于内容感知的神经文本语音合成 MOS 预测

    该研究探讨了将韵律和语言特征作为 MOS 预测系统的附加输入的影响，发现包含 Tacotron 编码器输出和 BERT 嵌入等高级语言输入显著提高了句子和系统层面的预测准确度。

    Nov, 2022

  • 利用自动预测的韵律信息来改进指代消解

    本文介绍了利用卷积神经网络从语音信号的声学特征中提取的音高重音及语调信息对共指消解产生积极影响，并且通过自动预测声调信息的实验结果进一步支持了前人研究的结论。

    Jul, 2017

  • 基于直觉韵律特征的统计参数语音合成中的说话人适应

    本论文提出了一种利用直观韵律特征进行说话人适应的方法，在 Tacotron2 的基础上，将直观韵律特征与文本编码器的输出和说话人向量拼接编码，实现音频的转换，在客观和主观的表现上都超过了基准方法，其中基于话语层面的直观韵律特征的方法达到了所有比较方法中最好的合成音相似度。

    Mar, 2022

  • 使用预训练上下文化词向量从文本中预测韵律突出

    介绍了一个新的自然语言处理数据集和用于预测从书面文本中的韵律突出的基准测试。使用预训练的上下文化单词表示方法 BERT，比其他模型快 10% 的预测度与作为离散化的韵律突出显示。

    Aug, 2019

  • 无监督语音重构中解离韵律表示

    本文讨论并提出一种名为 Prosody2Vec 的语音重构模型，能够从无标记的情感语音语料库中学习韵律信息表示，并能在情感语音识别和情感语音转换等任务中有效地实现对韵律特征的捕捉，同时与 HuBERT 表示相结合时表现优于最先进的方法。

    Dec, 2022