Jun, 2023

通过自监督离散语音单元监督进行准确对齐的高质量自动配音

PDF
TL;DR该研究提出了一种基于自监督离散语音单元预测的 AVO 方法，该方法提供了更直接的对齐学习监督，改善了文本 - 视频上下文和声学特征之间的不匹配，实现了卓越的唇 - 语音同步和高品质语音合成效果。
automatic voice overtext-to-speech synthesisself-supervised learninglip-speech synchronizationspeech quality
发现论文，激发创造
  • 无监督文本转语音合成与无监督自动语音识别

    该论文提出了一种基于对齐模块输出伪文本和另一个合成模块使用伪文本进行训练和实际文本进行推断的无监督文本转语音综合系统，可以在每种语言的 10-20 小时语音中实现与监督系统相当的性能，并开展了对文本单元和声码器影响的研究。

    Mar, 2022

  • 自监督学习用于音视频发言人分离

    提出自监督的音视频同步学习方法，通过引入动态三元组损失和多项式损失函数来解决说话人分离问题，结果表明该方法在人机交互系统中大幅提高了 F1 分数和降低了分离误差率，并且介绍了一个新的大规模中文音视频语料库。

    Feb, 2020

  • 视频中音视频对象的自监督学习

    本文提出了一种使用自监督学习把视频转化成一组离散的音频 - 视觉物体的模型，并通过注意力定位和分组声源，光流聚合信息等方式提高了模型的准确度。实验表明，本模型学习到的音频 - 视觉对象嵌入可用于解决多说话者音源分离、说话人定位、音频 - 视觉数据校正和活跃说话人检测等四个任务，同时，使用非人类演讲者数据表明了本方法的可泛化性和比其他相关研究更好的效果。

    Aug, 2020

  • AV2AV: 直接音频 - 视觉语音到音频 - 视觉语音翻译与统一音频 - 视觉语音表示

    该论文提出了一种新颖的直接音频 - 视觉转换技术，将输入和输出的系统处理音频和视觉语音，从而实现具有同步嘴部运动的实时对话体验，提高口译系统的鲁棒性，并利用自我监督学习来进行训练，来缓解无对应数据集的问题，并提出了一个能够生成音频和视频的 AV-Renderer。

    Dec, 2023

  • 鲁棒性自监督视听语音识别

    本文提出了一个基于 AV-HuBERT 模型的自监督音视频言语识别框架，利用 LRS3 数据集的少量标记数据，在噪音干扰的情况下提高了超过 50% 的性能，并且比基于音频的模型将词错误率减少了 75% 以上。

    Jan, 2022

  • UTTS：基于条件去耦合序列变分自编码器的无监督语音合成

    本文提出了一种新的无监督文本到语音（UTTS）框架，支持零样本语音克隆和高自然度、可理解度语音合成，是从分离的语音表示学习的角度开发的多说话人语音合成器，其利用了最近在自监督语音表示学习和语音合成前端技术方面的先进进展，在训练期间提供了条件分离的时序变分自编码器（C-DSVAE）作为骨干 UTTS AM。

    Jun, 2022

  • 使用自监督离散语音表示进行任意一对多序列到序列语音转换

    利用自监督 VQ-Wav2vec 表示的任意人说话到固定目标说话的任意对一语音转换问题的序列到序列框架，通过预处理和后处理方法，我们的模型可以具有更好的泛化能力，即使只有 5 分钟的数据。

    Oct, 2020

  • 几乎无监督的文本转语音和自动语音识别

    本文提出了一种基于 Transformer 模型的几乎无监督学习方法，结合 TTS 和 ASR 的双重特性，通过少量的配对数据和额外的未配对数据，实现了对语音和文本领域的语言建模，并在 LJSpeech 数据集上达到了 99.84% 的可懂单词率和 2.68 MOS 的 TTS 表现，以及 11.7% 的 ASR 错误率。

    May, 2019

  • 深度学习音 - 视觉语音增强的训练目标和目标函数

    研究采用深度学习技术解决音视频语音增强任务时，目标量和目标函数的选择对性能至关重要；本实验研究了一系列不同的目标量和目标函数，结果表明直接估计掩模的方法在估计语音质量和可懂度方面表现最佳。

    Nov, 2018

  • 基于声码器的无声视频语音合成

    本文利用深度学习算法，通过从口型信息中提取语音声学特征进行语音的合成，从而改善无声视频中语音恢复的质量。

    Apr, 2020