Oct, 2024

超越差分隐私框架的思考：语言模型提示下的文本隐私化案例研究

HTML
PDF
TL;DR本研究针对隐私保护自然语言处理领域中差分隐私集成技术的局限性进行了探讨，揭示了其所带来的挑战。通过关注DP-Prompt方法，本文比较了在不同场景下文本重写任务的效果，实证实验结果表明，差分隐私在自然语言处理中的可用性和优势需要进一步讨论。
发现论文，激发创造
  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020

  • 当差分隐私遇上自然语言处理：魔鬼藏在细节中

    本文针对ADePT的形式化分析表明其不具备差分隐私性质，证明了实验结果缺乏可靠的支持，同时阐明了形式化保证在自然语言处理中的重要性。

    Sep, 2021

  • 重参数化技巧如何破坏不同ially-Private文本表示学习

    该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

    Feb, 2022

  • 如何保留文本隐私：一项针对自然语言处理的深度学习隐私保护方法的系统综述

    本文对2016年至2020年间发表的60种深度学习模型进行了系统综述，介绍了一种新的分类法，并讨论了隐私保护自然语言处理模型中的隐私问题。

    May, 2022

  • 自然语言处理中的差分隐私：迄今为止的故事

    本文总结了隐私增强技术中差分隐私对自然语言处理中的隐私问题的影响和应用，以及现有研究的探讨和下一步的研究方向。

    Aug, 2022

  • 安全数据共享的差分隐私语言模型

    使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用DP-SGD进行训练。

    Oct, 2022

  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在DP深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 词级度量差分隐私的比较分析：隐私与效用权衡的基准测试

    采用差分隐私应用于自然语言处理技术近年来越来越重要，本研究对其在词级上加入噪音以实现差分隐私表示的不同方法进行了对比分析，并提供了隐私-效用权衡的深入分析和代码开源，从而为该研究领域提供了具体的前进步骤。

    Apr, 2024

  • 再简化一遍：为差分隐私重写文本提升语义相似度和隐私保护的后处理方法

    基于差分隐私的文本重写方法，通过对重写后的文本再次进行重写，提高了在经验隐私评估中的保护性能，并为恶意对手提供了额外的保护层。

    May, 2024

  • DP-MLM：使用掩膜语言模型的差分隐私文本重写

    基于掩码语言模型（MLMs），提出了一种新的基于差异隐私的文本重写方法DP-MLM，能够在语义相似且混淆的方式下重写文本，对于保护隐私提供更好的实用性，并具有更大的重写机制定制化能力。

    Jun, 2024