提出了一种基于知识蒸馏的自监督语音表示学习（S3RL）体系结构，用于在设备上进行关键词检测任务，通过使用双视角交叉相关蒸馏和教师的码本作为学习目标，在设备资源限制内构建自监督模型，对 Alexa 关键词检测任务表现出非凡的性能。

Jul, 2023

提出了一种文本无关的声学模型与自我监督蒸馏策略相结合的噪声鲁棒表达式语音翻译 (S2ST) 模型，通过将 U2S 生成器与语音到单元翻译模型级联，可以在存在噪声的环境中生成高质量的语音，并在干净环境中保持竞争性性能。

Jun, 2024

在线自监督自蒸馏的顺序推荐方法（S^4Rec）应用于现代推荐系统中，通过在线聚类和对抗学习策略来有效地处理数据稀疏性和用户行为数据有限性的挑战，并利用自监督学习和自蒸馏方法实现知识传递。

Mar, 2024

我们提出了一种创新的深度神经网络模型，通过 `学生 ' 和` 教师 ' 子网络之间的协同学习，结合了掩蔽学习和对比学习，从而在个体序列的语境信息和序列总体分布数据之间有效融合，该方法显著提升了大多数推理任务的性能。

May, 2024

本文旨在研究将 HuBERT 基于自监督学习的模型进行有效的蒸馏，用于自动语音识别。我们进行了综合研究，设计了一种简单有效的算法，将参数减少 17％，将推理速度翻倍，同时又能在功能上达到满意的性能降级。

Oct, 2022

应用无对比标签的自监督方法 DINO 学习语音的 utterance-level 嵌入，通过在 speaker verification、speech emotion recognition 和 Alzheimer's disease detection 任务上进行转移学习表明该方法优于监督 x-vector。

Aug, 2022

本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

May, 2022

深度学习在语音分离方面的应用及其对多说话人语音识别的整合进行了深入研究，并提出了一种通过复杂谱映射和自监督学习表示进行的训练策略，从而在噪声和混响环境下显著提升多说话人语音识别性能。

Jul, 2023

通过自监督解缠的表示学习方法，该论文提出了一种两阶段的方法，利用参考语音编码网络和全局信息解缠网络逐步解开说话者身份信息与其他无关因素的联系，从而有效地引导语音提取网络并降低说话者混淆的可能性。此外，引入自适应调制 Transformer 以确保混合信号的声学表示不受说话者嵌入的影响，提供自然且高效的指导。实验结果验证了该方法的有效性。

Dec, 2023

提出了一个新的自监督学习方法 — 发音者无关聚类 (Spin)，它使用 45 分钟的微调，能够聚类语音表示，并在原始和说话者扰动话语之间执行交换预测，从而分解说话者信息并保留内容表示，并在语音识别和声学单元发现方面优于现有方法。

May, 2023