私有合成数据与集成学习

Oct, 2023

Private Synthetic Data Meets Ensemble Learning

Haoyuan Sun, Navid Azizan, Akash Srivastava, Hao Wang

TL;DR通过应用差分隐私机制生成多个合成数据集，并对这些数据集进行训练，我们引入了一种新的集成策略以提高下游模型在真实数据上的性能。通过增加样本多样性，我们的实验结果表明，这种集成策略改善了使用基于生成对抗网络的差分隐私机制训练模型的下游模型的准确性和校准度。

Abstract

When machine learning models are trained on synthetic data and then deployed on real data, there is often a performance drop due to the distribut

machine learning models performance distribution shift ensemble strategy differential privacy

发现论文，激发创造

合成数据，真实误差：如何（不）发布和使用合成数据

本文介绍了通过生成模型生成合成数据，并探讨了生成模型对下游机器学习任务的影响。提出了 Deep Generative Ensemble (DGE) 框架，该框架可以学习生成过程模型参数的后验分布，从而在模型训练、评估和不确定性量化方面取得了显著的改进，特别对于稀有类别和原始数据的低密度区域。

May, 2023

利用大型语言模型生成私有合成文本

本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

Jun, 2023

评估差分隐私合成数据对表格数据的效用和公平性在端到端机器学习流程中

对比真实数据，研究调查了采用差分隐私合成数据可以替代机器学习流程中的真实数据，并确定了训练和评估机器学习模型的最有效的合成数据生成技术。结果显示，基于边缘分布的合成数据生成器能够获取与真实数据相似的实用性和公平性特征。

Oct, 2023

低数据迁移学习的深度集成

本文探讨了从预训练模型中创建集成模型的不同方法，并提出了一种有效的算法来识别下游数据集的预训练模型子集。在 19 项下游任务中（视觉任务适应基准），即使从超过 2000 个预训练模型中进行选择，其实现了具有较低推理预算的最先进性能，并且在 ImageNet 变体上对分布转移具有更好的鲁棒性。

Oct, 2020

从真实数据到合成数据的转换：量化模型中的偏差

本研究旨在建立使用合成数据训练的模型在偏见和公平之间的权衡，并研究了合成数据生成技术的变体，包括差分隐私生成方案，通过实验表明，合成数据训练的模型存在不同程度的偏差影响，且生成的特征不相关的技术表现良好。该研究有助于数据科学实践者理解合成数据的使用中的偏见。

May, 2021

朝着生物学上合理且私密的基因表达数据生成

通过系统分析五种代表性的差分隐私生成方法在真实世界中基因表达数据情境下的表现，本研究揭示了这些方法各自的特点和优缺点，发现它们无法准确捕捉真实数据集的生物特征，并强调了模型设计方面的亟需未来优化。

Feb, 2024

局部独立预测模型集合

本文通过介绍新的多样性度量方法介绍了一种新的模型集成方法，该方法特别适用于数据限制和协变量转移，可显著提高模型的多样性和泛化性能。

Nov, 2019

多个合成数据集上集成模型的偏差 - 方差分解

通过推导多个合成数据集使用的偏差 - 方差分解，我们的理论预测多个合成数据集对于高方差的下游预测器特别有益，并给出了在均方误差和 Brier 得分情况下选择合适数量合成数据集的简单经验法则。在多个真实数据集和下游预测器上评估集成的性能，结果符合我们的理论，表明我们的洞察力在实践中也具有相关性。

Feb, 2024

在差分隐私下生成表格数据集

优化生成模型的质量和隐私之间的平衡，通过引入关注机制学习可逆的表格表示和差分隐私扩散模型来合成高质量的表格数据。

Aug, 2023

使用合成数据增广消除数据集偏差

本文探讨使用有针对性的合成数据增强 - 结合游戏引擎模拟和 sim2real 风格转移技术 - 填补视觉任务的真实数据集中的空缺。在三种不同的计算机视觉任务中（停车位检测，车道检测和单 ocular 深度估计），实证研究一致表明，将合成数据与真实数据混合训练能够显著提高交叉数据集的泛化性能。

Apr, 2020