Sep, 2023

基于 MRI 标记和非负矩阵分解的语音音频合成通过可塑变压器

PDF
TL;DR我们提出了一种基于深度学习的框架，通过加权映射生成语音音频波形，从功能单元推导到音频合成的实验结果表明其优于传统的卷积和 Transformer 模型。
speech productionfunctional unitsweighted mapsdeep learningsynthesis
发现论文，激发创造
  • 通过 MRI 标记的 4D 运动场的跨模态翻译进行语音运动异常检测

    通过使用仅对健康人群进行训练的深度跨模态翻译器，实现对语音运动异常及其对应语音声学的检测，以区分健康人群和患者，从而提高对语音质量的评估和治疗策略的发展。

    Feb, 2024

  • 利用 Transformer 的调制融合进行语言 - 声学情感识别

    本文提出了基于 Transformer 和调制的两种极具轻量性能却强大的情感识别和情感分析解决方案，通过组合大量数据集的语言和语音输入来挑战、有时甚至超越这一领域的现有技术，并在 IEMOCAP、MOSI、MOSEI 和 MELD 数据集上评估和验证其性能。

    Oct, 2020

  • 通过物理知识引导的多任务转换器的嵌入网络理解听觉诱发的脑信号

    通过物理启发嵌入网络和深度学习技术，我们提出了一种创新的多任务学习模型 PEMT-Net，用于增强多任务听觉信号解码性能，从而超越现有方法并为理解大脑处理复杂听觉信息的机制提供新的见解。

    Jun, 2024

  • Speechformer：减少直接语音翻译中的信息损失

    提出了 Speechformer 的架构，该架构通过减少注意层中的内存使用，避免了初始的失真压缩，并根据更具信息的语言标准仅在较高级别上聚合信息，该架构在三种语言对 (en->de/es/nl) 上的实验表明了其有效性。

    Sep, 2021

  • 文本到语音的神经传感器和发声器：基于语义标记预测的方法

    基于神经传导器的文本到语音 (TTS) 框架，通过使用从 wav2vec2.0 嵌入中获得的离散语义标记，易于采用神经传导器实现 TTS 框架，从而享受其单调对齐约束；该模型首先通过神经传导器生成对齐的语义标记，然后使用非自回归 (NAR) 语音生成器从语义标记合成语音样本，该分离框架减轻了 TTS 的训练复杂性，使得每个阶段能够分别专注于语言和对齐建模以及细粒度声学建模；在零样本自适应 TTS 上的实验结果表明，通过客观和主观指标，该模型在语音质量和说话人相似度方面超过了基准模型；我们还研究了我们提出的模型的推断速度和语调可控性，展示了神经传导器在 TTS 框架中的潜力。

    Nov, 2023

  • SpeechFormer++：一种用于泛语言学语音处理的层次化高效框架

    本文提出了 SpeechFormer++ 框架，以一种能够有效处理语音的方式来使用 Transformer 技术进行语音处理，实现了在情感识别、抑郁症分类和阿尔茨海默病检测等领域超越当前最先进方法的结果。

    Feb, 2023

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 高保真度语音合成的最小监督方法：全部使用扩散模型

    我们提出了一种基于扩散模型的最小监督高保真语音合成方法，其中所有模块均基于扩散模型构建，非自回归框架增强了可控性，持续时间扩散模型实现了多样化的韵律表达。

    Sep, 2023

  • 基于语义标记预测的两阶段文本到语音的神经转换器

    我们提出了一种以神经推导器为中心的新型文本转语音（TTS）框架，将整个 TTS 流程分为语义级序列到序列建模和细粒度声学建模阶段，并利用从 wav2vec2.0 嵌入中获取的离散语义标记。我们采用了一种名为令牌推导器的神经推导器，用于语义标记预测以实现稳健高效的对齐建模，从其固有的硬单调对齐约束中受益。接下来，一个非自回归（NAR）语音生成器从这些语义标记有效地合成波形。此外，参考语音在每个阶段控制时间动态和声学条件。这种解耦的框架降低了 TTS 的训练复杂性，同时使每个阶段能够专注于语义和声学建模。我们在零 - shot 自适应 TTS 上的实验证明，我们的模型在语音质量和说话人相似性方面超过了基准模型，无论是客观上还是主观上。我们还深入探讨了我们方法在推理速度和韵律控制能力方面的优势，突出了神经推导器在 TTS 框架中的潜力。

    Jan, 2024

  • FaceFormer：基于 Transformer 的语音驱动 3D 面部动画

    提出了一种基于 Transformer 的自回归模型，称为 FaceFormer，用于声控 3D 面部动画。该模型能够对长时间音频上下文进行编码，并自回归预测一系列动画 3D 面网格。通过自监督预训练语音表示，使得该模型能够成功解决数据稀缺问题。同时，设计了两种有偏的注意机制，并进行为这个特定任务进行优化。大量实验证明，该方法优于现有的最先进技术。

    Dec, 2021