本研究通过对自监督语音模型 (S3Ms) 的单词级别语言属性进行细致分析，发现 S3M 表示对于音韵相似性的相似度比语义相似性更高，并提出了对广泛使用的目标分类数据集进行语义能力评估的疑问。实验证明，即使只使用单词自身的信息，也能超越基于 S3M 的模型，在一些数据集上获得更高的性能，从而证实了研究结果，并暗示高分并不一定意味着语义内容的存在。

Jun, 2024

本研究发现，不同的自监督语音模型可以在不同的层次编码语言特征，在中间层最大程度地捕获了词级的信息，同时在较高层保留了发音等低层次信息，并用在无额外参数的情况下测试了这些模型的层次表现，同时发现使用 HuBERT 或 WavLM 的最佳表现层可以实现与更复杂的方法相媲美的词分割和语义句子相似性的表现。

Jun, 2023

提出了一种用于建模众多发言人的新方法，并通过对特征进行离散化和将其与语音合成模型相结合来表示目标发言人的语音特征。该方法在主观相似性评估中获得了较高的相似度平均意见分数（SMOS），甚至对于未见过的发言人，其性能优于最佳多发言人模型的已见发言人，而且也显著优于零样本方法。此外，该方法在生成新的虚拟发言人方面表现出色，并且通过编码潜在特征能够完全重构原始发言人的语音，说明该方法可以作为在各种任务中对发言人特征进行编码和重构的通用方法。

Nov, 2023

本文提出了一种无监督的任务无关方法，将大型语言模型中的语义信息融合进入自监督语音编码器，提高了其在意图分类，名称实体识别及槽填充等方面的性能，使其达到了有监督方法同等的效果，为已有的语音编码器的无监督实现提供了可行性证明。

Nov, 2022

本文使用语言模型的扩展性行为来估计目前方法在训练中使用的计算规模下，会产生具有类似基于文本的大型语言模型的英语熟练度的语音语言模型。我们展示了语言模型和大型语言模型的预训练损失与下游句法和语义性能之间存在强相关性，从而导致语言性能的可预测扩展。我们还表明，与基于文本的大型语言模型相比，语音语言模型的语言性能扩展速度慢三个量级。此外，我们研究了旨在提升语义理解的合成数据的益处以及更粗糙的语音分词的影响。

Mar, 2024

研究使用回归神经网络模型处理图像和其口述描述中语音音素的表示和编码，通过一系列实验分析了音素如何在模型的各层中编码，发现最明显的音素表示在较低层，而注意力机制则显著削弱语音学编码，并使得话语嵌入更加不变。

Jun, 2017

本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。

Jun, 2023

本文提出了一种同时考虑音频和语言内容的口语句子嵌入方法，并通过音频 - 语言多任务学习问题构建了编码器 - 解码器模型，以学习长期依赖关系。实验表明，在语音识别和情感识别任务中，口语句子嵌入优于基于音素和单词级别的基准模型，且我们的嵌入模型可以更好地模拟高级声学概念并保留语言信息。因此，本文展示了一种泛化的多模态句子嵌入方法，并证明了其在口语语言理解方面的可行性。

Feb, 2019

在这项研究中，我们介绍了一种新的自监督语音转换（VC）架构，它可以用来学习将瞬时特征，如内容，与静态特征（如说话者 ID 或录音条件）分开进行编码，从而创建说话者解耦的表示。结果表明，训练过以说话者解耦的自监督表示的 Large Language Models（LLMs）相比于最先进的关联表示提高了 4.7 个百分点的说话者相似度，并降低了 5.4 个百分点的词错误率（WER）。此外，它们在自然性方面比 LibriTTS 测试集中的人类录音表现更好。最后，我们表明使用明确的参考嵌入对可读性（稳定性）产生负面影响，与仅使用文本来推断风格的模型相比，WER 增加了 14 个百分点。

Feb, 2024

本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

Oct, 2020