利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期对长距离语境化和更高专业化的提升，跨任务相似性的测量进一步揭示了语言相关任务在训练期间共享信息，这在关键学习阶段比之前或之后更为明显。我们的发现对模型可解释性、多任务学习和有限数据学习具有重要意义。

Oct, 2023

本文研究自监督语音表示的特征空间分布，通过主成分分析得出编码说话者和语音的正交子空间，提出一种新的说话者标准化方法，消除说话者信息，对于去除语音中的说话者信息的任务表现出色。

May, 2023

本文提出了一种通过语法组件分解学习 CLIP 模型中视觉 - 语言联合空间不同视觉模态的基本变化，从而获得解耦的图像和模态表示的方法，并证明其在图像合成和零样本分类方面的有效性。

May, 2023

在这项工作中，我们提出了一种新的方法，通过从多语言嵌入空间中投影掉语言特定因素，以完全利用语义信息，并消除语言身份信号，从而在语义任务中取得更好的结果。

Jan, 2024

我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

Aug, 2023

通过研究 wav2vec 2.0，HuBERT 和 CPC 三种最先进的自监督模型的表示空间，与法语和英语人类听众的感知空间作比较，我们发现 CPC 模型具有微小的母语语言效应，但 wav2vec 2.0 和 HuBERT 似乎发展出了一种通用的语音感知空间，而不是针对特定语言的。与受监督的电话识别器的预测比较表明，所有三种自监督的模型捕获了相对精细的知觉现象，而受监督的模型则更擅长捕获听众母语的更粗的电话级效应。

May, 2022

本文介绍一种基于自监督语音表示的自动口语评估系统，并将其与传统的基于语音识别和基于文本的评估系统进行比较。研究结果表明，该系统可以在适当情况下与其他系统媲美甚至取得更好的表现。

Nov, 2022

本文通过信息论的方式将每个语音学类别表示为离散单元的分布，以研究表征和离散化的语音输入与音素这样的抽象语音学类别之间的关系，并应用于两种不同的自监督模型进行研究，揭示了语音学类别的熵反映了底层语音语音变化的可变性，同时确认了这种映射的缺乏直接对应关系。

Jun, 2023

本文分析了几种最先进的自监督语音表示中的电话和说话者信息的空间组织，并使用表示相似性分析测量不同层如何编码基本声学参数，例如共振峰和音高，进一步使用非参数统计测试研究每个表示在电话或说话者类别上进行聚集的程度，结果表明，模型根据预训练时使用的目标任务不同而以不同的方式表示这些语音属性。

Feb, 2023

自我监督语音表示对下游语音技术有很大的益处，但其有用性的属性仍然了解甚少。本文引入了一种新的度量方法，即累积残差方差（CRV），用于评估表示空间的两个候选属性：讲话者质心和音素质心所跨越子空间的正交程度，以及空间的各个维度有效利用程度。我们使用线性分类器对六个不同的自我监督模型和两个未经训练的基准模型的语音表示进行了评估，探讨正交性和各向同性是否与线性测试精度相关。研究发现这两个度量与语音测试精度呈正相关，尽管对于各向同性的结果更为微妙。

Jun, 2024