通过研究 wav2vec 2.0，HuBERT 和 CPC 三种最先进的自监督模型的表示空间，与法语和英语人类听众的感知空间作比较，我们发现 CPC 模型具有微小的母语语言效应，但 wav2vec 2.0 和 HuBERT 似乎发展出了一种通用的语音感知空间，而不是针对特定语言的。与受监督的电话识别器的预测比较表明，所有三种自监督的模型捕获了相对精细的知觉现象，而受监督的模型则更擅长捕获听众母语的更粗的电话级效应。

May, 2022

本研究提出了一种基于子空间表示的新的学习机制，可用于从话语中提取隐藏的音位结构以进行语言验证和方言 / 口音识别，并通过核机器（如支持向量机和基于子空间的神经网络）的子空间学习实现。

Mar, 2022

自我监督语音表示对下游语音技术有很大的益处，但其有用性的属性仍然了解甚少。本文引入了一种新的度量方法，即累积残差方差（CRV），用于评估表示空间的两个候选属性：讲话者质心和音素质心所跨越子空间的正交程度，以及空间的各个维度有效利用程度。我们使用线性分类器对六个不同的自我监督模型和两个未经训练的基准模型的语音表示进行了评估，探讨正交性和各向同性是否与线性测试精度相关。研究发现这两个度量与语音测试精度呈正相关，尽管对于各向同性的结果更为微妙。

Jun, 2024

自我监督表示与声音识别中的说话人身份有关，并能更好地理解强大网络中不同层次的声学信息表示，通过评估声学、语音、韵律和语言变体之间的说话人识别准确性，对比模型和人类的编码空间相似性，旨在挑战距离度量作为说话人接近程度的代理，并展示某些模型能够预测自然刺激下听觉和语言区域的脑部反应。

Jun, 2024

本研究基于两个不同语言的数据集，研究了两种预测编码模型（APC 和 CPC）的行为，发现 CPC 模型在短时间内已经取得了更好的表现，其预测损失优化后的表现也符合语音识别领域中音素特征学习的最优化要求。

Jul, 2020

本文分析了几种最先进的自监督语音表示中的电话和说话者信息的空间组织，并使用表示相似性分析测量不同层如何编码基本声学参数，例如共振峰和音高，进一步使用非参数统计测试研究每个表示在电话或说话者类别上进行聚集的程度，结果表明，模型根据预训练时使用的目标任务不同而以不同的方式表示这些语音属性。

Feb, 2023

本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

Jun, 2023

本文通过信息论的方式将每个语音学类别表示为离散单元的分布，以研究表征和离散化的语音输入与音素这样的抽象语音学类别之间的关系，并应用于两种不同的自监督模型进行研究，揭示了语音学类别的熵反映了底层语音语音变化的可变性，同时确认了这种映射的缺乏直接对应关系。

Jun, 2023

本研究提供了一种新方法 —— 神经预测编码（NPC），以从大量无标注的训练数据中完全无监督地学习说话人特征，该方法利用了所提出的短期主动说话人平稳假设，即将两个时间上接近的短语音片段规定为同一说话人，从而训练卷积深度连体网络，通过学习区分在未标记的语音流数据中生成的 “相同” 和 “不同” 说话人对，生产 “说话人嵌入”，从而在短持续时间实验中表现最佳，并为完整话语实验提供补充信息。

Feb, 2018

我们提出了一种名为对比音素 - 语音预训练（CPSP）的方法，通过对比学习将音素和语音连接到联合多模态空间，并在帧级别学习如何连接音素和语音，从而实现了最小监督的文本到语音（TTS）、语音转换（VC）和自动语音识别（ASR）任务。

Sep, 2023