ACLFeb, 2022

重参数化技巧如何破坏不同 ially-Private 文本表示学习

PDF
TL;DR该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。
发现论文，激发创造
  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 隐私保护 BERT 语言能力的解耦

    采用一系列解释技术对来自在扰动预文本上训练的 BERT 的内部表示进行解析，旨在在语言层面上解开差分隐私引起的失真。实验证据表明，内部表示的整体相似度显著降低。使用探测任务来解析这种不相似性，发现文本到文本的隐私处理影响了多种形式的语言能力，编码了单词的局部属性，但在编码单词串的上下文关系方面存在不足。

    Oct, 2023

  • 自然语言处理的差分隐私表示：形式保证和隐私公平性的实证研究

    提出了一种名为 DPNR 的深度学习方法，该方法使用差分隐私实现了对文本中提取的表示的隐私保护，并通过在强健训练中集成 DP 噪声表示来维护学习表示的效用。实验结果表明，DPNR 可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。

    Oct, 2020

  • 一种不适用于所有情况的方法：探究不同自然语言处理任务中差分隐私学习的策略

    研究取得了基于 BERT 和 XtremeDistil 架构的神经模型，在五个典型的 NLP 任务中使用不同隐私保护策略在七个下游数据集上的表现，并发现每个任务和隐私方案都需要特殊处理以实现足够的性能。

    Dec, 2021

  • 自然语言处理中的差分隐私：迄今为止的故事

    本文总结了隐私增强技术中差分隐私对自然语言处理中的隐私问题的影响和应用，以及现有研究的探讨和下一步的研究方向。

    Aug, 2022

  • 通过自然文本清洗技术实现文本分析的差分隐私保护

    本文提出了利用局部差分隐私 (DP) 对文本进行隐私保护的方法，使 BERT 自然语言处理可以进行隐私保护并保证了较高的数据效用，然而高效用并未增加推理攻击的成功率。

    Jun, 2021

  • 安全数据共享的差分隐私语言模型

    使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

    Oct, 2022

  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020

  • 差分隐私的合成文本生成：一个简单实用的方法

    本文讨论隐私问题在数据驱动产品和服务中引起的关注，提出了一种利用差分隐私的生成式语言模型的简单、实用和有效方法，以生成有用的合成文本同时缓解隐私问题。经过广泛的实证分析，我们证明了我们的方法产生的合成数据在实用性上与其非私有对应物相当竞争，同时提供了强大的保护措施以防止潜在的隐私泄漏。

    Oct, 2022

  • 差分隐私：什么是所有的噪音？

    本文概述了隐私保护的形式定义 Differential Privacy 在数据处理中提供严格保证的重要思想、概念和应用，特别关注它在机器学习和联邦学习领域的交叉应用。

    May, 2022