Feb, 2018

卷积神经网络神经预测编码实现演讲者特征无监督学习

PDF
TL;DR本研究提供了一种新方法 —— 神经预测编码（NPC），以从大量无标注的训练数据中完全无监督地学习说话人特征，该方法利用了所提出的短期主动说话人平稳假设，即将两个时间上接近的短语音片段规定为同一说话人，从而训练卷积深度连体网络，通过学习区分在未标记的语音流数据中生成的 “相同” 和 “不同” 说话人对，生产 “说话人嵌入”，从而在短持续时间实验中表现最佳，并为完整话语实验提供补充信息。
发现论文，激发创造
  • 非自回归 预测编码：从局部依赖学习语音表示

    本研究提出非自回归预测编码 (NPC) 的自学习方法，通过仅依赖语音的本地依赖，在非自回归方式下学习语音表示。使用新引入的蒙版卷积块实现 NPC 的概念简单、易于实现的目标，并且在每个时间步长上具有固定的推断时间，从而加速了推理速度。理论和实证比较证明了 NPC 的有效性，与其他方法相比，NPC 的表现在语音实验中可比，而且更加高效。

    Nov, 2020

  • 无监督单词分段的分段对比预测编码

    本文提出了一个用于零资源语音处理的新的模型，称为分段对比预测编码，能够对音频信号的帧级和更高级别的分组进行编码，并将此模型用于音素和单词分割，结果在 TIMIT 和 Buckeye 数据集上显著优于现有方法。

    Jun, 2021

  • 使用分段对比预测编码进行无监督语音分割和可变速率表示学习

    该论文提出了一种使用自监督学习和分段对比预测编码框架来同时完成语音信号的音素和类似单词的分割任务，并发现了连续元音或半元音之间的边界是最难识别的，从而可以在较低的特征提取率下提取出更好的语音特征。

    Oct, 2021

  • 基于对比预测编码特征的自动语音说话人验证

    本论文介绍了基于对比性预测编码（CPC）特征的说话人验证的相关工作，重点是将 CPC 特征纳入标准的自动说话人验证系统中，并提出了相应的方法、实验和分析。同时还详细阐述了过去和最近的自动说话人验证系统工作、传统语音特征以及 CPC 背后的动机和技术等必要背景知识。

    Apr, 2019

  • 面向文本独立说话人识别的帧级别说话人特征向量及端到端模型分析

    本文提出了一种基于卷积神经网络（CNN）的说话人识别模型，可以提取鲁棒的说话者嵌入，并通过 TIMIT 数据集对其进行了训练和多个代理任务来研究网络在区分语音输入和声音身份方面的能力，其中发现该网络更擅长区分相似的语音类别而不是单个音素，这一帧级别的表示法还允许我们在帧级别上分析网络，并具有提高说话人识别的其他分析的潜力。

    Sep, 2018

  • 变率分层 CPC 用于语音中的声学单位发现

    本文通过自监督学习探索了多层对比预测编码 (CPC) 模型对语音的分层表示，提出了一种基于不均匀下采样的模型，通过聚焦负采样和量化目标等方法增强了其对深度、离散性的优化，从而在 speech recognition 任务上得到了更好的效果，同时也实现了语音信号的有效分割。

    Jun, 2022

  • 利用最近邻对比学习生成语音序列嵌入

    我们介绍了一个基于自监督的音频表示的简单神经编码器架构，该架构可以使用无监督对比学习目标进行训练，并通过 k - 最近邻搜索获得它的正样本，从而可以在多个语言中应用，可用于随机语音序列的按示例查询和口头术语的发现，实验证明该方法在五种语言上显著推动了技术发展，并建立了一个基准测试以便未来监测领域的进展。

    Apr, 2022

  • 无监督分割和分类音素和单词的对比预测策略

    本文研究了基于对比预测编码 (CPC) 的自监督学习 (SSL) 方法在音素分类和音素、单词分割方面的性能。结果表明，现有算法在分类和分割性能上存在平衡。为了弥合这种差距，我们借鉴了在分割方面较好的方法，并将多级建模方法整合到 CPC 的改进版本 Aligned CPC (ACPC) 中，提高了在所有分类指标上的性能，并在单词分割方面取得了最先进的性能。

    Oct, 2021

  • 使用卷积神经网络学习语音识别线性可分特征

    本研究旨在探讨卷积神经网络和简单线性分类器在提取自然语音特征以进行语音识别方面的应用，而该方法已被证明在音素识别模型和大规模连续语音识别时十分有效。

    Dec, 2014

  • 使用卷积神经网络和上下文信息进行韵律事件识别

    本文研究了卷积神经网络在检测和分类词汇上的韵律事件，包括音高强调和短语边界音调，作者说明加入当前词汇位置特征可以使卷积神经网络表现更好，并且将模型从单个发音者扩展到多个发音者的情况下性能依然较强。

    Jun, 2017