Jan, 2023

差分隐私自然语言模型：最新进展与未来方向

PDF
TL;DR该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。
deep learningnatural language processingdifferential privacydata privacydp-nlp
发现论文，激发创造
  • 自然语言处理中的差分隐私：迄今为止的故事

    本文总结了隐私增强技术中差分隐私对自然语言处理中的隐私问题的影响和应用，以及现有研究的探讨和下一步的研究方向。

    Aug, 2022

  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020

  • 安全数据共享的差分隐私语言模型

    使用全局差分隐私的方法，通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私，并通过新的匹配损失设计自然语言提示，得出高质量的文本数据集，这些数据集不仅不会泄露原始数据的信息，而且还适合训练用于分析真实世界数据的模型，同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用 DP-SGD 进行训练。

    Oct, 2022

  • 一种不适用于所有情况的方法：探究不同自然语言处理任务中差分隐私学习的策略

    研究取得了基于 BERT 和 XtremeDistil 架构的神经模型，在五个典型的 NLP 任务中使用不同隐私保护策略在七个下游数据集上的表现，并发现每个任务和隐私方案都需要特殊处理以实现足够的性能。

    Dec, 2021

  • 如何保留文本隐私：一项针对自然语言处理的深度学习隐私保护方法的系统综述

    本文对 2016 年至 2020 年间发表的 60 种深度学习模型进行了系统综述，介绍了一种新的分类法，并讨论了隐私保护自然语言处理模型中的隐私问题。

    May, 2022

  • 面向语言建模的选择性差分隐私

    本文提出了一种新的隐私保护机制 Selective-DPSGD，采用选择性差分隐私保护敏感信息，保证了语言模型和对话系统在隐私攻击下的安全性和效用性。

    Aug, 2021

  • 重参数化技巧如何破坏不同 ially-Private 文本表示学习

    该研究简要分析了使用 DPText 进行文本表示学习的几篇最近的自然语言处理论文，并揭示了它们虚假的差分隐私声明。此外，还提供了一个简单而通用的经验检查来确定给定的实现是否违反了隐私损失保证，以引起人们对将差分隐私应用于文本表示学习的潜在陷阱的关注并帮助研究人员了解。

    Feb, 2022

  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023

  • BERT 模型的差分隐私和联邦学习基准测试

    本文研究了将自然语言处理技术应用于用语言集合进行抑郁症等疾病的诊断中，并探讨了应用差分隐私机制对 BERT、ALBERT、RoBERTa 和 DistilBERT 等语言模型进行中央化和联邦学习时的效果，并提供了开源实现。

    Jun, 2021

  • 自然语言处理的差分隐私表示：形式保证和隐私公平性的实证研究

    提出了一种名为 DPNR 的深度学习方法，该方法使用差分隐私实现了对文本中提取的表示的隐私保护，并通过在强健训练中集成 DP 噪声表示来维护学习表示的效用。实验结果表明，DPNR 可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。

    Oct, 2020