提出了一种名为DPNR的深度学习方法,该方法使用差分隐私实现了对文本中提取的表示的隐私保护,并通过在强健训练中集成DP噪声表示来维护学习表示的效用。实验结果表明,DPNR可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。
Oct, 2020
提出了一种使用自编码器的实用性保留差分隐私文本转换算法,具有高语义质量并在下游NLP任务中表现良好,证明了算法的理论隐私保证,并评估了基于转换数据训练的模型下成员推理攻击的隐私泄漏。结果表明,与现有的基线相比,所提出的模型在MIA攻击方面表现更好,同时提供更低或没有底层转换过程中效用的降低。
Jan, 2021
本文针对ADePT的形式化分析表明其不具备差分隐私性质,证明了实验结果缺乏可靠的支持,同时阐明了形式化保证在自然语言处理中的重要性。
Sep, 2021
本文介绍了一个新的文本匿名处理方法,该方法使用fine-tuned变压器语言模型实现了高质量的语言输出,同时避免了匿名化方法存在的隐私保护及文本保留方面的问题。
May, 2022
本文对2016年至2020年间发表的60种深度学习模型进行了系统综述,介绍了一种新的分类法,并讨论了隐私保护自然语言处理模型中的隐私问题。
使用全局差分隐私的方法,通过训练生成式语言模型并从中采样数据来保护数据分享者的隐私,并通过新的匹配损失设计自然语言提示,得出高质量的文本数据集,这些数据集不仅不会泄露原始数据的信息,而且还适合训练用于分析真实世界数据的模型,同样证明基于私有合成数据训练分类器的性能优于直接基于真实数据使用DP-SGD进行训练。
Oct, 2022
本研究探讨在训练文本生成模型时如何同时兼顾隐私保护和去除社交偏见的问题,经实验证明,保护隐私的同时也会使分类任务中的偏见加剧,为了在双方兼顾的情况下提高模型的效用,在损失一些隐私保护的基础上,通过去偏增强模型可以达到最优化。
May, 2023
使用大型语言模型,本研究探索了替代标记符的可行性,以保护用户隐私,分析了不同方法的实验结果,在下游语言建模任务中实现了与原始数据训练相媲美的性能。
Sep, 2023
采用差分隐私应用于自然语言处理技术近年来越来越重要,本研究对其在词级上加入噪音以实现差分隐私表示的不同方法进行了对比分析,并提供了隐私-效用权衡的深入分析和代码开源,从而为该研究领域提供了具体的前进步骤。
Apr, 2024
本研究通过对比分析使用转换器模型和大型语言模型(LLM)与传统架构进行文本匿名化任务的性能,评估了几种模型的表现,并展示了每种方法的优点和缺点,为研究人员选择最合适的模型提供了明确的视角。