Jan, 2024

具有强延迟约束的连接主义语音识别的动态行为

PDF
TL;DR本文描述了在具有严格延迟限制的语音语调识别中使用连接主义技术的方法。通过将语音信号输入到关节合成器中，从而实时产生一个合成脸部的嘴唇运动。在不同的延迟条件下，研究了多层感知器学习的时间演化模型与维特比译码器所施加的转移模型之间的相互作用。通过控制语言模型中的时间依赖关系参数进行了两个实验。结果表明神经网络拓扑结构、语言模型中时间依赖关系的长度以及译码器延迟之间存在强烈的相互作用。
发现论文，激发创造
  • 高质量流媒体语音合成低，句子长度无关的延迟

    本文提出了一种针对实时应用具有低延迟的 CPU 端到端文本转语音系统，使用自回归基于注意力机制的序列到序列声学模型和 LPCNet 声码器进行波形生成，实验结果显示，该系统能够在 CPU 上几乎达到 31 倍的实时最小延迟，并且能够生成几乎自然的高质量语音。

    Nov, 2021

  • 一个预测性学习模型可以模拟连续语音的神经表示中发现的时间动力学和上下文效应

    模拟了从计算模型中提取的表示进行的分析揭示了与大脑信号相似的时间动态，这表明这些特性可以在没有语言知识的情况下出现。此外，研究证明，声素的编码模式支持一定程度的跨语境概括，但我们发现这种概括的有效性取决于具体的语境，这表明单独的分析不足以支持存在语境无关编码。

    May, 2024

  • 一种新颖的基于 CNN 和 LSTM 的语音驱动唇形同步模型

    使用一维卷积和 LSTM 的深度神经网络模型，结合语音识别模型和速度损失值的方式，实现了音频与动态唇形同步的三维面部建模和动画，其生成的平滑和自然唇部运动已经成功在汉语口音的成人中得到验证。

    May, 2022

  • VisemeNet：音频驱动的动画师中心语音动画

    本文提出了一种基于深度学习的新型方法，用于直接从输入音频中产生驱动 JALI 或标准 FACS 制作面部捕捉的动画师中心音频运动曲线。

    May, 2018

  • 通过预测基于标记的声学潜变量学习话语级表示以用于情感语音合成

    本论文提出了一种表达性语音合成模型，该模型利用标记级别的潜在韵律变量来捕捉和控制话语级别属性，如角色配音和说话风格，其中的潜在细节级别空间同时也捕捉更粗粒度的信息。

    Nov, 2022

  • 深度神经卷积矩阵分解在口形表示分解中的应用

    本研究探讨从口型运动学信号分解得到的语音表征，采用神经实现的卷积稀疏矩阵分解技术将口型数据分解为可解释的手势和手势得分，进而成功编码语音学信息，为深度神经网络的信息化、可读性、可解释性和高效性提供了可行的指导。

    Apr, 2022

  • 从原始语音进行语音情感的直接建模

    本文提出了一种基于并行卷积层的方法，在特征提取单元中利用多个时间分辨率来共同训练 LSTM 分类神经网络。该方法可用于处理原始语音数据的情感识别任务，并可以达到使用手工制作特征训练 CNN 的性能水平。

    Apr, 2019

  • 用神经隐马尔可夫模型学习离散语音表示的依赖关系

    本文研究了语音感知的分段本质，并提出了一种基于神经隐马尔科夫模型的学习方法，该方法应用于离散的隐变量模型以及自监督学习中，模型中加入了模型变量之间的关联性，从而有效提高了模型的性能。

    Oct, 2022

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019

  • 基于大型语言模型的对话响应与语音合成的联合建模研究

    本文研究构建一种 “思考如何回应” 和 “思考如何讲话” 的人工智能口语对话系统，相比当前独立的聊天机器人和文本到语音（TTS）模块的级联流水线，更贴近人类语音生成过程。研究使用拥有数十亿参数的大型语言模型（LLMs），展示其在语音理解能力上的潜力，并通过统一的编码格式进一步整合对话回应和各种语言特征。实验结果表明，基于 LLM 的方法是构建统一口语对话系统的一种有前景的方向。

    Sep, 2023