DPAdapter 是一种创新技术，通过增强参数的稳健性，提高了差分隐私机器学习算法的模型性能。实验证明，使用 DPAdapter 结合现有的 DPML 算法可以显著提高其平均准确率，从 72.92% 提升至 77.09%，并保持一个隐私预算 ε=4。

Mar, 2024

本文阐述了在处理非典型和带有重重口音的语音时，通过添加所谓的残差适配器，可以在只更新模型的极小部分参数时实现类似于模型微调的效果，从而优化 ASR 系统的性能。

Sep, 2021

通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。

Mar, 2024

通过在流式多语种 ASR 中引入语言相关适配器（LDA）微调和基于教师伪标签技术，本研究提出的方法有效地减少了平均 12.2% 的词错误率，并在单个场景中最多降低了 37.5% 的错误率，从而显著缓解了异步峰值性能问题。

Jan, 2024

本研究提出了一种参数高效的少样本说话人自适应方法，通过使用可训练轻量级模块 (residual adapters) 来增加骨干模型 (backbone model) 实现对各种目标说话人的共享，可以在保持语音自然性和说话人相似性的同时仅使用上亿模型参数的 0.1％。

Oct, 2022

本文为多语言语音翻译（ST）提供了适配器的完整分析，其中适配器调整在 NLP 中作为微调的高效替代品，可使 ST 针对特定语言对进行专门优化，并从自动语音识别（ASR）任务和预先训练的 mBART 模型中进行转移，同时节省大量参数，具有与完全微调相当的可比结果。

Jun, 2021

本文提出了一种基于特征适应和模型适应的统一说话人自适应方法，其中采用一种说话人感知的持久性记忆模型进行特征适应，并使用一种新颖的逐步修剪方法进行模型适应。在 Librispeech 数据集上的实验结果表明，相对于基线方法，在一般说话人自适应和目标说话人自适应中使用所提出的方法可带来 2.74-6.52% 的词错误率下降，并且该方法具有良好的低资源适应性能。

Oct, 2021

应用转移学习，通过将适配器整合到神经网络中，可以有效地处理未知噪声场景，并在浅层插入适配器能够得到更好的效果。实验证明，适配器在浅层和全层适配之间没有明显的差异；在相同数据量下，真实数据比模拟数据更为有效；多条件训练对适配器训练依然有效；将适配器整合到基于语音增强的 ASR 系统中能够大幅度提高性能。

Feb, 2024

提出了一种使用泊松子采样的集成学习框架，有效地训练一组教师模型以针对训练数据发出一些不同隐私保护（DP）保证。通过在 DP 下 Boosting，从训练数据中派生的学生模型遭受的模型退化很少，可以从无隐私保护的模型中进行训练。

Oct, 2022

使用预训练的语言模型以及非标准化超参数和 fine-tuning 目标结合 DP 优化技术，可在中等规模的语料库上获得胜过强基线和同一隐私预算下的 DP-trained 模型的 NLP 模型。我们还提出了一种内存节省技术来解决在大型 Transformers 上运行 DP-SGD 的计算难题，该技术可以使得 clip 在 DP-SGD 中运行而无需对模型中的任何线性层实例化每个样本的梯度，成本与非隐私的训练相当，并且有适度的运行时间开销。

Oct, 2021