Apr, 2019

SynC: 一种使用高斯 Copula 生成合成人口的统一框架

PDF
TL;DR本研究提出了一个名为 SynC (Synthetic Population via Gaussian Copula) 的多阶段框架，以从聚合数据源中生成个人级数据，并证明其价值不仅是特征工程工具，而且在收集困难的情况下，还可以作为一种收集数据的替代方法。通过两个真实数据集，本研究展示了其功能，并发布了易于使用的框架实现，并确保该方法可以扩展到生产级别并可以轻松集成新数据。
发现论文，激发创造
  • Synthpop++: 一个生成国家级合成人口的混合框架

    该研究介绍了一种新型的混合框架 SynthPop++，该框架可以将来自多个现实调查的数据（具有不同且部分重叠的属性集）组合起来，生成具有真实比例的合成人口，该方法可以用于在印度进行感染病例的代理建模。实验结果表明，我们的合成人口可以在城市、区域和国家级别产生具有真实规模和详细数据的人口数据。

    Apr, 2023

  • 使用 Copulas 生成和模拟合成数据集

    本论文提出了一种基于 copula 模型生成合成数据集的新方法，以生成在边际和联合分布方面类似于真实数据的代理数据。将该方法应用于两个数据集显示出比 SMOTE 和自编码器等其他方法更好的性能。

    Mar, 2022

  • 用于合成数据生成的 Copula 流

    本文提出了使用基于概率模型的合成数据生成器，通过正则化流学习联合分布密度估计以及单一边际分布密度估计，取得了在密度估计以及生成高保真合成数据方面面拟真度得到了有效的提升。

    Jan, 2021

  • 一个基于距离的原创全合成数据生成方法的统计属性和隐私保证

    通过开发多步骤的合成数据生成框架并评估其风险效用模型，成功评估了使用该框架生成的数据的质量，展示了开放 - CESP 倡议的技术和概念的可行性。

    Oct, 2023

  • 为纵向队列研究生成合成数据 —— 评估、方法扩展与已发布的数据分析结果再现

    本研究使用最先进的合成数据生成方法并对在营养学领域的特定用例中生成的数据进行深入的质量分析，展示了对合成数据进行仔细分析的必要性，并通过扩展方法，全面分析从训练模型中抽样的效果，从而在所选择的用例中基本复现了重要的真实世界分析结果。

    May, 2023

  • 一种用于表格数据的有监督生成优化方法

    合成数据生成已成为金融机构的重要课题，本研究提出了一种新的合成数据生成框架，将监督组件与元学习方法结合，为特定下游任务学习最佳混合分布的已有合成分布。

    Sep, 2023

  • 大规模分层人口综合的多目标组合优化框架

    我们提出了一种用于大规模人口合成的多目标组合优化技术，并通过在真实人口数据的列联表上验证其有效性，从而为决策者和研究人员模拟复杂人群动态提供了有用的工具。

    Jul, 2024

  • 联合家庭和个体人口合成的深度生成框架

    利用变分自编码器（VAE）构建深度生成模型，生成具备一致变量相关性、家庭 - 个体和个体 - 个体关系、地理分布等特征的合成人口数据集。在美国 Delaware 州和 North Carolina 州的应用中，该方法显示了生成真实家庭 - 个体记录和精确描述人口统计数据的潜力，验证了方法的可迁移性。

    Jun, 2024

  • SynDy: 用于虚假信息任务的合成动态数据集生成框架

    SynDy 是一种利用最先进的大型语言模型，通过合成动态数据集的方法，为舆情封控提供了重要工具，用于针对声称匹配、专题聚类和声称关系分类等任务生成细粒度的合成标签，以便进行大规模人工事实核查。

    May, 2024

  • 通过合成数据扩展提升数据分析能力

    合成数据生成是一种通过解决数据稀缺性和隐私问题、实现前所未有的性能而在数据科学领域引起了一场转变的生成人工智能的基石。本文介绍了用于分析的合成数据生成框架，该框架利用了统计方法在高保真度合成数据上的运用，这些数据由诸如表扩散和预训练生成转换模型等先进模型生成，并通过相关研究得到进一步的改进。通过三个案例研究：文本情感分析、结构化数据预测建模和表格数据推断，我们证明了该框架在传统方法之上的有效性，强调了合成数据生成在数据科学中的转化潜力。

    Oct, 2023