一种带泊松子抽样的集成师生学习方法，用于差分隐私保护语音识别

Oct, 2022

一种带泊松子抽样的集成师生学习方法，用于差分隐私保护语音识别

An Ensemble Teacher-Student Learning Approach with Poisson Sub-sampling to Differential Privacy Preserving Speech Recognition

PDF

Chao-Han Huck Yang, Jun Qi, Sabato Marco Siniscalchi, Chin-Hui Lee

TL;DR提出了一种使用泊松子采样的集成学习框架，有效地训练一组教师模型以针对训练数据发出一些不同隐私保护（DP）保证。通过在 DP 下 Boosting，从训练数据中派生的学生模型遭受的模型退化很少，可以从无隐私保护的模型中进行训练。

Abstract

We propose an ensemble learning framework with poisson sub-sampling to effectively train a collection of teacher models to issue some differential privacy (DP) guarantee for training data. Through boosting under

ensemble learning differential privacy poisson sub-sampling teacher-student learning noise injection

发现论文，激发创造

Rényi 差分隐私的群隐私放大和统一放大的子采样

我们研究了差分隐私和 Rényi-DP 框架下的群体隐私和分样本扩增，并提出了一种统一的分样本扩增隐私计算方法。我们的研究发现，这种方法不仅可以改进和推广现有的分样本扩增结果，还能导出比现有方法更严格的群体隐私扩增保证，从而将不同差分隐私属性的联合研究作为一个有希望的研究方向。

Mar, 2024

基于元学习的噪声感知差分隐私回归

通过使用模拟数据来训练元学习模型，将 Convolutional Conditional Neural Process (ConvCNP) 与改进的 DP 机制相结合，从而提供准确、良好校准的预测模型，并在非高斯数据上优于 DP 高斯过程（GP）基线模型。

Jun, 2024

低声：带差分隐私保证的联邦语音识别

该研究提供了一种在多个组织之间学习机器学习模型，并提供数学保证限制隐私损失的潜在解决方案，采用联邦学习方法和差分隐私技术构建，并应用于 senone 分类原型，演示了模型随着私有数据的添加而改进，同时尊重隐私。

Jul, 2022

混合专家模型的差分隐私训练

本研究调查了差分隐私 (Differential Privacy) 在自然语言处理领域中混合专家模型 (Mixture of Experts models) 训练中的整合。通过对大规模语言模型 (Large Language Models) 在数十亿参数上进行训练，利用海量数据集，使其具备了强大的语言能力和新兴的能力，但这一增长带来了重大的计算和隐私问题。我们的研究通过探索具备计算效率的 MoE 模型及 DP 的应用来解决这些问题。我们首次尝试在 DP 的约束下训练 MoE 模型，解决了其架构以及 DP 整合的复杂性所带来的独特挑战。我们的初步实验研究表明，MoE 模型可以通过 DP 有效训练，并与非隐私对照组有竞争力的性能。本次研究旨在为隐私保护的 MoE 模型领域提供有价值的洞察力，为该领域进一步的研究奠定基础，并为未来的发展提供引导。

Feb, 2024

差分隐私适配器用于参数高效声学建模

通过噪声教师学生模型和残余适配器的引入，本研究提出了一种参数高效的解决方案，实现跨语言语音分类器的差分隐私保护，通过在训练之前进行一次性预训练，将模型的参数数量减少了 97.5%，并且只有 4% 的性能下降。

May, 2023

通过合成文本生成实现差分隐私知识蒸馏

利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

Mar, 2024

基于半监督知识迁移的深度学习私有训练数据共享

本研究提出了一种称为私有教师集成（PATE）的方法，通过多个使用不同数据集训练的模型进行加密学习，从而实现对模型训练数据的隐私保护，达到最新的隐私 / 效用平衡，且适用于包括非凸模型在内的任何模型。

Oct, 2016

私有合成数据与集成学习

通过应用差分隐私机制生成多个合成数据集，并对这些数据集进行训练，我们引入了一种新的集成策略以提高下游模型在真实数据上的性能。通过增加样本多样性，我们的实验结果表明，这种集成策略改善了使用基于生成对抗网络的差分隐私机制训练模型的下游模型的准确性和校准度。

Oct, 2023

大型语言模型的差分隐私下一个令牌预测

通过对公共 LLM 输出分布周围的集合投影，并对投影分布进行平均和抽样，PMixED 提供了基于模型预测的差分隐私保护方法，比样本级隐私更可靠，并在大规模数据集上胜过 DP-SGD。

Mar, 2024

时间域子采样的隐私放大

为了在保持隐私的前提下利用时序数据，我们提出了一种基于子采样和过滤的隐私机制，通过减少个体对于时间序列的影响，从而显著地减小了加噪音的需求，而且我们用现实和合成的时间序列数据充分论证了其实用性。

Jan, 2022