Oct, 2023

通过合成数据扩展提升数据分析能力

PDF
TL;DR合成数据生成是一种通过解决数据稀缺性和隐私问题、实现前所未有的性能而在数据科学领域引起了一场转变的生成人工智能的基石。本文介绍了用于分析的合成数据生成框架，该框架利用了统计方法在高保真度合成数据上的运用，这些数据由诸如表扩散和预训练生成转换模型等先进模型生成，并通过相关研究得到进一步的改进。通过三个案例研究：文本情感分析、结构化数据预测建模和表格数据推断，我们证明了该框架在传统方法之上的有效性，强调了合成数据生成在数据科学中的转化潜力。
synthetic data generationstatistical methodsgenerational effectadvanced modelstransformative potential
发现论文，激发创造
  • 超越隐私：合成数据的机遇与挑战

    本文探讨生成模型产生的合成数据可能成为机器学习领域的主导力量，可以创造更公平的数据、进行数据增强和模拟，尤其是在 ChatGPT 生成的文本方面。然而，在使用合成数据时，社区需要克服许多基本的挑战，其中最重要的是量化我们能够信任的查找或预测的程度。

    Apr, 2023

  • 从真实数据到合成数据的转换：量化模型中的偏差

    本研究旨在建立使用合成数据训练的模型在偏见和公平之间的权衡，并研究了合成数据生成技术的变体，包括差分隐私生成方案，通过实验表明，合成数据训练的模型存在不同程度的偏差影响，且生成的特征不相关的技术表现良好。该研究有助于数据科学实践者理解合成数据的使用中的偏见。

    May, 2021

  • 合成数据，真实误差：如何（不）发布和使用合成数据

    本文介绍了通过生成模型生成合成数据，并探讨了生成模型对下游机器学习任务的影响。提出了 Deep Generative Ensemble (DGE) 框架，该框架可以学习生成过程模型参数的后验分布，从而在模型训练、评估和不确定性量化方面取得了显著的改进，特别对于稀有类别和原始数据的低密度区域。

    May, 2023

  • 利用数据中心人工智能重塑合成表格数据生成：一项全面的基准评估

    利用数据中心人工智能技术生成代表性的合成数据，以改进传统的合成数据生成方法，并促进其在提高合成数据质量和效果方面的应用。

    Oct, 2023

  • 一种用于表格数据的有监督生成优化方法

    合成数据生成已成为金融机构的重要课题，本研究提出了一种新的合成数据生成框架，将监督组件与元学习方法结合，为特定下游任务学习最佳混合分布的已有合成分布。

    Sep, 2023

  • 合成数据生成的全面探索：一项调查

    近年来，机器学习在不同领域得到了广泛应用，但由于数据获取昂贵和隐私法规的限制，训练数据的稀缺性成为进展的阻碍。合成数据作为一种解决方案出现，但大量发布的模型和有限的概述文献给决策带来了挑战。本文调查了过去十年中 417 个合成数据生成模型，提供了模型类型、功能和改进的全面概述。我们发现模型性能和复杂性不断提高，以神经网络为基础的方法主导，除隐私保护数据生成外。计算机视觉占主导地位，GAN 是主要生成模型，而扩散模型、Transformer 和循环神经网络则在竞争。从我们的性能评估中，我们发现常见度量标准和数据集的稀缺性使得比较具有挑战性。此外，文献中忽略了培训和计算成本，需要在未来的研究中予以关注。本文为合成数据生成模型的选择提供了指南，并确定了未来探索的关键领域。

    Jan, 2024

  • 推动高级分析中合成数据使用的分类

    通过对于合成数据具有的潜力进行分析，本文提出了将合成数据用于高级分析系统的税 onomic，并为其应用场景进行了评估，以揭示继续研究的机会。

    Dec, 2022

  • 合成表格数据生成的实用性

    研究了使用合成表格数据进行数据共享、数据增强、类别平衡和数据摘要等四种情况下，机器学习性能的表现，然而，作者得出结论认为没有足够的证据证明合成数据对于机器学习训练有用。

    Jun, 2023

  • 为纵向队列研究生成合成数据 —— 评估、方法扩展与已发布的数据分析结果再现

    本研究使用最先进的合成数据生成方法并对在营养学领域的特定用例中生成的数据进行深入的质量分析，展示了对合成数据进行仔细分析的必要性，并通过扩展方法，全面分析从训练模型中抽样的效果，从而在所选择的用例中基本复现了重要的真实世界分析结果。

    May, 2023

  • 在受监管行业中实现合成数据采纳

    本文介绍了数据中心化思维的重要性和隐私问题、提出了基于合成数据的解决方案，并开发了一种全面的测试方法（DAISYnt），以检验这种方法在高度监管的领域中的可行性和质量，例如金融和医疗保健。

    Apr, 2022