Jan, 2021

ADePT：基于自编码器的差分隐私文本转换

PDF
TL;DR提出了一种使用自编码器的实用性保留差分隐私文本转换算法，具有高语义质量并在下游 NLP 任务中表现良好，证明了算法的理论隐私保证，并评估了基于转换数据训练的模型下成员推理攻击的隐私泄漏。结果表明，与现有的基线相比，所提出的模型在 MIA 攻击方面表现更好，同时提供更低或没有底层转换过程中效用的降低。
differential privacynlpauto-encodersprivacy guaranteemembership inference attacks
发现论文，激发创造
  • 当差分隐私遇上自然语言处理：魔鬼藏在细节中

    本文针对 ADePT 的形式化分析表明其不具备差分隐私性质，证明了实验结果缺乏可靠的支持，同时阐明了形式化保证在自然语言处理中的重要性。

    Sep, 2021

  • 单词级差分隐私的限制

    本文介绍了一个新的文本匿名处理方法，该方法使用 fine-tuned 变压器语言模型实现了高质量的语言输出，同时避免了匿名化方法存在的隐私保护及文本保留方面的问题。

    May, 2022

  • 去标识化文本转化的隐私保证

    本文基于差分隐私原理给出了关于基于文本转换的去识别化方法的形式化隐私保证，并探究了不同的掩盖策略对与自然语言处理任务的影响。作者发现，只有通过深度学习模型进行逐字替换的方法是在多个任务中具有鲁棒性的。

    Aug, 2020

  • 差分隐私数据生成模型

    提出了一种基于差分隐私的自编码生成模型和变分自编码生成模型，这些模型可以有效地保护深度学习的隐私，并且经过评估具有较强的鲁棒性。

    Dec, 2018

  • 安全数据共享的差分隐私语言模型

    使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

    Oct, 2022

  • 自然语言处理中的差分隐私：迄今为止的故事

    本文总结了隐私增强技术中差分隐私对自然语言处理中的隐私问题的影响和应用，以及现有研究的探讨和下一步的研究方向。

    Aug, 2022

  • DP-Rewrite: 差分隐私文本重写的可重复性和透明度

    通过 DP 实现文本重写，为保护文本中个人隐私提供具体理论保障；为了解决现有系统的透明性和可重现性问题，提出 DP-Rewrite—— 一个开源、模块化、可扩展、高度定制化的框架，可提供不同的数据集、模型、专家预训练过程和评价指标等，实现了私密文本重写的前沿研究。以 ADePT DP 文本重写系统为案例，提供了一系列实验，检测其预训练方法中的隐私泄露问题。

    Aug, 2022

  • 重参数化技巧如何破坏不同 ially-Private 文本表示学习

    该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

    Feb, 2022

  • 通过自然文本清洗技术实现文本分析的差分隐私保护

    本文提出了利用局部差分隐私 (DP) 对文本进行隐私保护的方法，使 BERT 自然语言处理可以进行隐私保护并保证了较高的数据效用，然而高效用并未增加推理攻击的成功率。

    Jun, 2021

  • 利普希茨正则化变分自编码器生成差分隐私合成数据

    本文探讨了使用具有随机性生成模型的方法来实现隐私保护数据生成，通过将深度模型的连续模数限制在适当的范围内以获得隐私保护，并实验证明了其有效性。

    Apr, 2023