May, 2023

合成数据，真实误差：如何（不）发布和使用合成数据

PDF
TL;DR本文介绍了通过生成模型生成合成数据，并探讨了生成模型对下游机器学习任务的影响。提出了 Deep Generative Ensemble (DGE) 框架，该框架可以学习生成过程模型参数的后验分布，从而在模型训练、评估和不确定性量化方面取得了显著的改进，特别对于稀有类别和原始数据的低密度区域。
generative modelssynthetic datadeep generative ensemblemluncertainty quantification
发现论文，激发创造
  • 私有合成数据与集成学习

    通过应用差分隐私机制生成多个合成数据集，并对这些数据集进行训练，我们引入了一种新的集成策略以提高下游模型在真实数据上的性能。通过增加样本多样性，我们的实验结果表明，这种集成策略改善了使用基于生成对抗网络的差分隐私机制训练模型的下游模型的准确性和校准度。

    Oct, 2023

  • 超越隐私：合成数据的机遇与挑战

    本文探讨生成模型产生的合成数据可能成为机器学习领域的主导力量，可以创造更公平的数据、进行数据增强和模拟，尤其是在 ChatGPT 生成的文本方面。然而，在使用合成数据时，社区需要克服许多基本的挑战，其中最重要的是量化我们能够信任的查找或预测的程度。

    Apr, 2023

  • 合成数据：能否信任统计估计器？

    在研究中，我们强调了推论效用的重要性，并提供了反对从合成数据（处理这些数据就好像它们是真实观察到的一样）进行天真推断的实证证据，我们认为即使估计是无偏的，阳性结果的率（类型 1 错误）将会不可接受地高，一个原因是低估了真实标准误差，它可能会随着更大样本量而逐渐增加，导致收敛较慢。这对于深度生成模型尤其是一个问题。在发布合成数据之前，开发针对这样的数据的统计推断工具至关重要。

    Dec, 2023

  • 通过合成数据扩展提升数据分析能力

    合成数据生成是一种通过解决数据稀缺性和隐私问题、实现前所未有的性能而在数据科学领域引起了一场转变的生成人工智能的基石。本文介绍了用于分析的合成数据生成框架，该框架利用了统计方法在高保真度合成数据上的运用，这些数据由诸如表扩散和预训练生成转换模型等先进模型生成，并通过相关研究得到进一步的改进。通过三个案例研究：文本情感分析、结构化数据预测建模和表格数据推断，我们证明了该框架在传统方法之上的有效性，强调了合成数据生成在数据科学中的转化潜力。

    Oct, 2023

  • 分析虚假训练数据对深度学习系统性能的影响

    本文深入分析了使用不同比例的真实数据和合成数据来训练计算机视觉模型对模型鲁棒性和预测质量的影响，证明使用生成对抗网络生成高质量合成数据可以减轻深度学习模型面临的挑战。

    Mar, 2023

  • 从真实数据到合成数据的转换：量化模型中的偏差

    本研究旨在建立使用合成数据训练的模型在偏见和公平之间的权衡，并研究了合成数据生成技术的变体，包括差分隐私生成方案，通过实验表明，合成数据训练的模型存在不同程度的偏差影响，且生成的特征不相关的技术表现良好。该研究有助于数据科学实践者理解合成数据的使用中的偏见。

    May, 2021

  • 提高机器学习合成数据的逼真度研究

    本研究着眼于深入评估和比较对于机器学习的通用合成数据的对抗训练效果，并旨在使用未标记的真实数据条件下的合成 - 真实生成模型将合成图像转化为更真实的风格，并通过定性和定量指标进行广泛的性能评估和比较。

    Apr, 2023

  • 合成数据 -- 匿名化之地普通日

    评估了现有生成模型绘制的合成数据的隐私保护优势，发现与传统的匿名化技术相比，其提供的隐私保护水平无法预测且数据效用低下，并不存在更好的隐私保护与数据效用均衡的解决方案。

    Nov, 2020

  • 提高深度生成数据的效果

    即使合成图像在下游图像分类任务中导致性能下降，通过使用合成图像增强真实数据可以在数据稀缺情况下提升下游分类任务的表现，内容差距是这一现象的较大部分原因，我们提出了策略来更好地利用深度生成模型中的合成图像。

    Nov, 2023

  • 关于迭代重新训练生成模型的稳定性

    本文开发了一个框架，以严格研究在混合数据集（包括真实和合成数据）上训练生成模型对它们的稳定性的影响。通过在 CIFAR10 和 FFHQ 上迭代训练常规流和最先进的扩散模型，我们在合成和自然图像上经验验证了我们的理论。

    Sep, 2023