本研究探讨了利用半监督联邦学习和联邦学习进行关键词识别，在服务端只有少量标注数据情况下，运用半监督联邦学习技术对未标注的数据进行识别，证明了联合设备中大量未标注的异构数据可以显着提高关键词识别模型的性能。

May, 2023

本研究提供了一种数据高效的跨领域唤醒词模型训练技术，该技术包括多种声学环境的训练管道和半监督学习管道，可以用 10 个小时的领域不匹配的音频来增强模型鲁棒性，并从未经译写的语音语料库中准确提取 WW 和可能相似的例子，所提出的解决方案可节省 97％的具体 WW 数据收集和 86％的注释带宽并达到产业级模型的可比性能。

Oct, 2020

知识蒸馏是从预训练教师网络中学习轻量级学生网络的方法，但现有方法在原始训练数据不可用时往往不可行。为解决这个问题，该文提出了一种名为 “不同分布知识蒸馏” 的新方法（KD$^{3}$），其包括三个组件：从互联网收集训练实例，通过教师网络和学生网络的综合预测动态选择有用的训练实例；对齐两个网络的特征和分类器参数进行知识记忆；新建一个对比学习块以生成具有新分布的扰动数据用于实例对齐。该方法在不同基准数据集上的实验表明，KD$^{3}$ 能够超越现有的无数据知识蒸馏方法。

Jul, 2023

提出了一种基于知识蒸馏的自监督语音表示学习（S3RL）体系结构，用于在设备上进行关键词检测任务，通过使用双视角交叉相关蒸馏和教师的码本作为学习目标，在设备资源限制内构建自监督模型，对 Alexa 关键词检测任务表现出非凡的性能。

Jul, 2023

本文探讨了如何扩大自监督学习（SSL）的规模，以更好地应用于语音分离问题。通过使用大量的预训练数据进行 fine-tuning，提出的模型在节省了 38% 计算成本的同时，相比于监督学习方法和基于 WavLM 的模型，在一些测试数据集上的单词错误率均有显著的改善。

Nov, 2022

本文提出了一种持续学习框架，用于监测和检测数据分布的变化，通过自组织聚类和潜空间的统计方面探索这个问题，方法可以应用于有监督和无监督的环境中，并且通过比较高斯信号构建数据分布变化的评估，具有快速和稳健的特点，通过与其他无监督技术的比较实验证明了方法的潜力。

Apr, 2024

本文提出一种新的特征分布对齐方法，用于在只有少量标记样本时避免过度拟合，已在 CIFAR10 和 SVHN 数据集上进行了测试，结果表明在 SVHN 数据集上取得了接近完全监督模型的测试错误率，并提供了关于特征分布对齐发生的理论洞察，并证明了我们的方法可以减少它。

Dec, 2019

本文针对系统域转移下的计算机视觉模型，提出了熵最小化和伪标记等自学习技术的应用，通过大量实验展示了显著的改进效果和实用性。同时，本文还提出了一个新的分类数据集 ImageNet-D，对于自适应算法来说具有一定的挑战性。

Apr, 2021

基于 SwapCon 模型，我们提出了一种在预训练阶段压缩移不变特征信息并在微调阶段精细调整的机器学习模型，证明这种预训练范式在网络入侵检测问题中可以提高对特征分布变化的鲁棒性超过 8%，并且比基于 eXtreme Gradient Boosting (XGBoost) 和 K - 最近邻 (KNN) 的模型表现更好。

Apr, 2024

本文针对远程监督（DS）- 训练数据自动生成实体抽取的问题进行了研究，发现了标签分布改变对性能的影响，并提出了一种基于偏差调整的方法。实验证明调整偏差能够提高 DS 训练模型的性能，尤其是神经网络模型，相对 F1 值提高最高可达 23%。

Apr, 2019