Apr, 2019

基于自编码器的超声默读口形与声学映射

PDF
TL;DR通过对超声图像训练自编码神经网络，将神经网络的输入特征从像素级别转移为自编码器的瓶颈层激活，以更高的效率和准确性估计语音合成所需的频谱参数。
ultrasound videodeep neural networksilent speech interfacesautoencoder neural networkspectral speech parameters
发现论文，激发创造
  • 基于 DNN 的声学到发音器反演，使用超声舌像

    本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

    Apr, 2019

  • Lip2AudSpec: 从静态唇部运动视频重建语音

    通过一个由自动编码器和卷积神经网络构成的模型，在无声视频中对语音信号的频谱表示进行重建，获得了 98% 的相关性并且提高了音频质量。经过多个说话人的联合训练，该模型能够提取出不同说话人的个体特征，具有良好的识别准确率。

    Oct, 2017

  • 基于空间变换网络的舌头超声无声语音界面适应性

    利用深度学习算法从口腔运动数据中合成出可理解的语音，但相关模型区分度较高，对不同用户快速切换不便。该论文中利用空间变换网络（STN）模块扩展深度网络提高使用噪声下的语音接口模型的适应性，该方法有效降低了标准误差并提高了同一发言者不同录音周期的性能。

    May, 2023

  • 从无声视频中改善语音重构

    本文介绍了一种基于卷积神经网络的端到端模型，可将无声视频帧转化为可听、自然的语音信号，模型在 GRID 和 TCD-TIMIT 数据集上训练，并使用常见的客观指标评估重建语音的质量和可懂度，结果表明，本文提出的模型在预测语音方面比现有模型得分显著提高，同时展示了从无约束字典重构语音的有 promising 结果。

    Aug, 2017

  • 使用 WaveNet 自编码器进行无监督的语音表示学习

    本研究旨在通过自编码神经网络从语音波形中提取有意义的潜在表示，并比较三个变体：简单维度约束、高斯变分自编码器和离散量化矢量自编码器，成果表明此方法在 ZeroSpeech 2017 任务中获得了可比拟的表现。

    Jan, 2019

  • 基于声码器的无声视频语音合成

    本文利用深度学习算法，通过从口型信息中提取语音声学特征进行语音的合成，从而改善无声视频中语音恢复的质量。

    Apr, 2020

  • 面向儿童语音识别的基于滤波器的判别自编码器

    本文提出了一种基于滤波的判别性自编码器技术，旨在解决儿童语音识别中多种说话人类型和音高的影响问题，并在测试集上实现了较基准系统更高的识别率，并在英国口音 PF-STAR 任务中实现了比基线系统更好的结果。

    Apr, 2022

  • 基于 Wave-U-Net 的语音增强改进

    研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

    Nov, 2018

  • 通过融合声学和语义信息来提高自动音频字幕生成的性能

    本文提出了一种基于语义和音频信息相结合的自动音频字幕生成模型，使用预训练的 ResNet38 来初始化预训练关键字编码器，并使用 LSTM 解码器和语义和音频注意力模块来进行多模态注意力解码，实验证明该模型在 Clotho 数据集上达到了最先进的性能。

    Oct, 2021

  • 无监督对比式视频 - 语音表征学习 —— 超声波应用

    本文提出了一种用于医学图像处理的自监督学习方法，该方法可以从多通道超声视频和相应的言语音频数据中学习有意义的图像特征，评价结果表明该方法可以用于标准平面检测和视线预测等向下流任务。

    Aug, 2020