Jul, 2023

DP-TBART：用于差分隐私表格数据生成的基于 Transformer 的自回归模型

PDF
TL;DR维护差分隐私并在各种数据集上表现出与基于边际的方法相竞争的性能，甚至能够在某些情况下超越现有技术方法，我们提出了基于 Transformer 的差分隐私表格自回归模型 (DP-TBART)，并提供了理论框架来理解基于边际的方法的局限性以及深度学习方法的贡献。这些结果表明，在生成差分隐私合成表格数据中，应将基于深度学习的技术视为可行的替代方法。
synthetic tabular datadifferential privacydeep learning-based approachesdp-tbartmarginal-based methods
发现论文，激发创造
  • 衡量和减轻表格生成模型的隐私风险

    合成数据和生成模型在隐私保护的数据共享解决方案中迅速崛起，并通过在表格综合机上实施全面的实证分析，突出了五种最先进表格综合机的实用 - 隐私权衡，提出了一个新的差分隐私表格潜在扩散模型，称为 DP-TLDM，能够在保持可比较的隐私风险水平的同时，显著提高合成数据的实用性。

    Mar, 2024

  • 在差分隐私下生成表格数据集

    优化生成模型的质量和隐私之间的平衡，通过引入关注机制学习可逆的表格表示和差分隐私扩散模型来合成高质量的表格数据。

    Aug, 2023

  • TabMT：使用掩码变换器生成表格数据

    本文介绍了 TabMT，一种用于生成合成表格数据的新型掩码 Transformer 设计，它有效应对异构数据字段带来的独特挑战，并能够处理缺失数据。我们评估了 TabMT 在以保护隐私为重点的应用中的性能，并发现它能够生成具有优越隐私权衡的高质量数据。

    Dec, 2023

  • 探索差分隐私预训练和参数高效微调在表格变换器中的优势

    我们研究了在转移学习场景中将差分隐私预训练和微调应用于 TabTransformers 的各种参数有效微调方法（包括 Adapter、LoRA 和 Prompt Tuning），并通过在 ACSIncome 数据集上进行广泛实验，证明这些方法在下游任务的准确性和可训练参数数量方面优于传统方法，从而在参数效率、隐私性和准确性之间实现了改善的权衡。

    Sep, 2023

  • DPART：差分隐私自回归表格数据生成的通用框架

    提出了一个 Python 库 dpart，使用差分隐私的自动生成合成数据的通用、灵活和可扩展的框架，其中核心是自回归建模。

    Jul, 2022

  • 使用大型语言模型的差分隐私表格数据合成

    使用预训练的大型语言模型（LLMs），DP-LLMTGen 引入了一种新的框架来进行差分私有表格数据合成，通过微调过程模拟敏感数据集并生成多样的合成数据，有效地解决了实际挑战。

    Jun, 2024

  • 基于自注意力的高数据效用差分隐私标签 GAN

    DP-SACTGAN 是一种新颖的有条件生成对抗网络（CGAN）框架，用于差分隐私表格数据生成，旨在克服生成对抗网络在生成表格数据方面的局限性并满足差分隐私要求。实验结果表明，DP-SACTGAN 不仅能准确地建模原始数据的分布，还有效地满足差分隐私的需求。

    Dec, 2023

  • 使用语言模型进行私密生成表格数据

    提出一种方法将表格中的每一行视为句子，并使用差分隐私训练语言模型，以实现在多个数据集上建模表格数据的竞争结果。

    Jun, 2023

  • 深度生成模型、合成表格数据与差分隐私：概述与综述

    该文章综合介绍了最近在通过深度生成模型生成合成数据方面的研究进展，重点关注表格数据集。我们特别概述了在隐私敏感数据背景下合成数据生成的重要性。此外，我们强调了使用深度生成模型相对于其他方法的优势，并详细解释了底层概念，包括无监督学习、神经网络和生成模型。该论文涵盖了在对表格数据集使用深度生成模型时涉及的挑战和考虑因素，如数据归一化、隐私问题和模型评估。本综述为对合成数据生成及其应用感兴趣的研究人员和实践者提供了有价值的资源。

    Jul, 2023

  • ADePT：基于自编码器的差分隐私文本转换

    提出了一种使用自编码器的实用性保留差分隐私文本转换算法，具有高语义质量并在下游 NLP 任务中表现良好，证明了算法的理论隐私保证，并评估了基于转换数据训练的模型下成员推理攻击的隐私泄漏。结果表明，与现有的基线相比，所提出的模型在 MIA 攻击方面表现更好，同时提供更低或没有底层转换过程中效用的降低。

    Jan, 2021