本文介绍了基于无监督学习的 Unspeech 嵌入表示，是对口语语言上下文特征表示的学习，并使用孪生卷积神经网络构建该模型，应用于演讲数据的识别以及 TED-LIUM 的 TDNN-HMM 声学模型中，可用于讲话人比较、话语聚类和语音识别等领域，并公开了源代码和已经预训练的 Unspeech 模型。

Apr, 2018

本论文探讨了如何利用无监督的声学特征来增强语音识别，其中，通过学习始终对某些变换和变形不变的音频信号表示，实现了对短小的语音样本的有效处理，从而极大地提升了元音分类的准确性并降低了样本复杂性。

Jun, 2014

本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

Jan, 2020

本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

May, 2022

本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

Jun, 2023

本文介绍了一项新的无监督任务：口语语言建模并给出了 Zero Resource Speech Benchmark 2021，使用 4 个黑盒子零炮弹指标对 4 个语言层面的学习模型的质量进行测量，包括语音、词汇、语法和语义，并基于 CPC、聚类和语言建模的三个无监督系统的复合基线的结果和分析。该语言建模基于聚类学习产生的伪文本，表明了从原始语音中建立口语语言建模的可行性，但这种简单管道与文本为基础的 “顶线” 系统相比，性能较差，需要使用更复杂的端到端模型来探索。

Nov, 2020

本研究介绍了一种基于 Conformer 架构的自我监督训练的优秀的全语境表示法，应用于多元语音任务，分析了上下文窗口的大小并证明了小窗口仍能取得接近最优表现。

Oct, 2021

本文探讨了基于自监督学习的语音表征模型的鲁棒性问题，提出了一种基于伪标注技术的有效学习自监督语音表征的方法，该方法可显著提高语音编码的效果，并在语音翻译任务中得到了验证。

Sep, 2022

我们探索了可以在移动设备上部署的自监督模型来学习通用音频表示，具体而言，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑中随机提取的两个短音频片段之间的时间间隔。其他两种方法受 Word2Vec 的启发，旨在从过去和未来切片中重建时间频谱图切片，或者从当前切片重建周围切片的上下文。我们关注使用小型编码器体系结构的评估，这些体系结构可以在推理（在多个下游任务中重复使用共同学习的表示）和训练（与联合学习结合使用时捕获真实数据分布而不损害用户隐私）期间潜在运行于移动设备。我们评估了自我监督学习模型产生的嵌入质量，并表明它们可以被重新用于各种下游任务，甚至对一些任务的性能接近相似大小的全监督模型。

May, 2019

本文探讨通过将语音表征映射到对应的高级语言信息以学习领域不变的语音表征，结果证明，学习到的 latents 不仅捕捉到每个音素的发音特征，而且提高了适应能力，在 accened 测试基准上大幅优于基准模型。

Oct, 2022