Mar, 2017

一种嵌入式分段 K-means 模型，用于语音的无监督分割与聚类

PDF
TL;DR介绍了一个基于嵌入式分段 K 均值模型的新方法，用于语音分割和聚类，该模型与贝叶斯模型相比能够在更高效的情况下实现类似的分割和聚类效果，可用于零资源语音处理。
unsupervised segmentationclusteringzero-resource speech processingbayesian modeles-kmeans
发现论文，激发创造
  • 面向完全无监督大词汇语音识别的分段框架

    本文介绍了一种基于贝叶斯建模框架和语音嵌入向量的无监督语音识别方法，针对多个讲话者的语音数据进行了初步探索，最终通过顶层一致性分割和底层音节边界检测方法得出更好的单人和多人语音聚类结果。

    Jun, 2016

  • 无监督词语分割与词汇发现：基于声学词嵌入的方法

    提供了一种基于无监督贝叶斯模型的语音分割以及聚类算法，通过将有潜力的单词段嵌入固定维度的声学向量空间，并在此空间创建全词声学模型以及同时执行分割来实现输入语音基于单词类型的完整无人监督标记，模型在连接数字识别任务中取得约 20% 的错误率，优于基于 HMM 的系统。

    Mar, 2016

  • 改进特征的语音分割和词库学习再探

    我们重新审视了一种自我监督的方法，将未标记的语音分割成类似词的段落。我们从两阶段的惩罚持续时间的动态规划方法开始，进行零资源分割，而无需学习明确的词汇表。在第一阶段的声学单元发现阶段，我们用 HuBERT 替换对比预测编码特征。在第二阶段的词语分割之后，我们通过平均 HuBERT 特征获得每个段落的声学词嵌入。使用 K-means 对这些嵌入进行聚类，以获得一个词汇表。结果是具有良好覆盖率的分割，其词汇表在 ZeroSpeech 基准测试中达到了最先进的性能。

    Jan, 2024

  • 一种无监督概率模型用于低资源语言的语音到翻译对齐

    本论文提出一种模型，结合 IBM Model 2 和 k-means 聚类，使用动态时间规整作为距离度量，在极低资源情况下，该模型比神经模型表现更好，可用于将翻译的语音数据自动对齐。

    Sep, 2016

  • 2021 年零资源语音基准：自监督口语建模的度量和基线

    本文介绍了一项新的无监督任务：口语语言建模并给出了 Zero Resource Speech Benchmark 2021，使用 4 个黑盒子零炮弹指标对 4 个语言层面的学习模型的质量进行测量，包括语音、词汇、语法和语义，并基于 CPC、聚类和语言建模的三个无监督系统的复合基线的结果和分析。该语言建模基于聚类学习产生的伪文本，表明了从原始语音中建立口语语言建模的可行性，但这种简单管道与文本为基础的 “顶线” 系统相比，性能较差，需要使用更复杂的端到端模型来探索。

    Nov, 2020

  • 基于分段经验输出分布匹配的无监督语音识别

    本研究提出了一种完全无监督的学习算法，可在不使用标记数据的情况下训练语音识别系统，其关键在于使用音位语言模型和输入话语。该算法在解决两个子问题 (即学习给定音位划分边界下的音位分类器和更新音位边界) 上交替进行，并在 TIMIT 数据集上获得了令人满意的性能提升。

    Dec, 2018

  • 深度聚类：用于分割和分离的判别嵌入

    本文提出了一种称为 “深度聚类” 的深度学习框架，通过使用光谱图嵌入进行声源分离，从而实现类无关的信号分离，大大降低了领域分割成本，并且不依靠类别给出类标签，具有将不同源集合的潜力。

    Aug, 2015

  • 使用关注力的无监督语音词语切分

    这篇研究是对注意力词分割的首次尝试，通过从语音信号中直接进行词分割，最终目标是在低资源的口头语言中自动识别词汇单位。该方法假定在 UL 语言中的记录与资源充足的语言中的翻译相配对。使用声学单元发现（AUD）将语音转换为伪音段序列，然后使用神经机器翻译模型产生的神经软对齐来分割语音。该研究使用班图语 Mboshi 作为实际的 UL，并与单语和双语基线进行比较，说明了注意力词分割在语言记录方面的潜力。

    Jun, 2018

  • 神经网络方法实现口语内容嵌入

    通过使用循环神经网络 (RNNs) 改进了模型训练的效率和性能，我们提出了基于 RNNs 的新的区分性的声学词嵌入 (AWE) 和声学基础词嵌入 (AGWE) 的方法；我们将这些发展扩展到几种低资源语言，并且在有限标记数据的情况下展示了多语言训练的性能提升；我们将这些嵌入模型应用于基于示例的语音搜索和自动语音识别等下游任务；最后，我们展示了我们的嵌入方法与最近的自监督语音模型的比较和补充。

    Aug, 2023

  • 使用编码器 - 解码器模型中的弱自上而下约束实现真正的无监督声学词嵌入

    本文提出了一种基于编码器 - 解码器一一对应自编码器 (EncDec-CAE) 的无监督学习方法，用于从可变长度的语音以及无标签的语音数据中提取出与固定维度表示形式相对应的词嵌入，从而在无资源语音搜索、发现和索引系统中发挥重要作用，并在词辨别任务中相对于最接近的竞争对手提高了 24% 的平均精度。

    Nov, 2018