从微调和差分私有微调的 BERT 模型中提取命名实体的研究

Dec, 2022

从微调和差分私有微调的 BERT 模型中提取命名实体的研究

A Study on Extracting Named Entities from Fine-tuned vs. Differentially Private Fine-tuned BERT Models

Andor Diera, Nicolas Lell, Aygul Garifullina, Ansgar Scherp

TL;DR本文研究从语言模型中提取个人信息风险，并探讨 Differentially Privacy 对 fine-tuned BERT 模型文本生成能力的影响，结果表明，BERT 不太可能泄露个人或隐私敏感的命名实体，并指出这些结果重要理解 BERT-based 服务易受到训练数据提取攻击的程度。

Abstract

privacy preserving deep learning is an emerging field in machine learning that aims to mitigate the privacy risks in the use of deep neural networks. One such risk is training data extraction from language models that have been trained on datasets , which contain personal and privacy s

privacy preserving deep learning bert models fine-tuning named entity memorization differential privacy

发现论文，激发创造

隐私保护 BERT 的自然语言理解

在自然语言理解和数据挖掘中，隐私保护仍然是一个关键的挑战。本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并指出了这种方法在 BERT 细调中的实用性和隐私性的影响，同时提出了隐私适应性的语言模型预训练方法，可以显著提高 BERT 的实用性，并保持相同水平的隐私保护。本文实验和发现为未来探索隐私保护的自然语言理解提供了奠基。

Apr, 2021

使用差分隐私和联邦学习实现隐私保护的金融文本分类

本文介绍了基于 Bert 和 RoBERTa 等语言模型的文本分类模型，并采取差分隐私和联邦学习等隐私保护措施进行训练，以应用于敏感金融领域的实体检测和情感分析等自然语言处理任务，同时研究了隐私度与模型效用之间的平衡问题。

Oct, 2021

BERT 模型的差分隐私和联邦学习基准测试

本文研究了将自然语言处理技术应用于用语言集合进行抑郁症等疾病的诊断中，并探讨了应用差分隐私机制对 BERT、ALBERT、RoBERTa 和 DistilBERT 等语言模型进行中央化和联邦学习时的效果，并提供了开源实现。

Jun, 2021

语言模型差分隐私微调

本篇研究提供了更简单、更稀疏、更快速的算法来实现大规模预训练语言模型的差分隐私微调，在许多标准 NLP 任务上实现了最先进的隐私与实用性平衡。我们提出了一个元框架来解决这个问题，并在该领域中取得了最好的实用效果、隐私性、私有训练的计算和存储成本。

Oct, 2021

隐私保护 BERT 语言能力的解耦

采用一系列解释技术对来自在扰动预文本上训练的 BERT 的内部表示进行解析，旨在在语言层面上解开差分隐私引起的失真。实验证据表明，内部表示的整体相似度显著降低。使用探测任务来解析这种不相似性，发现文本到文本的隐私处理影响了多种形式的语言能力，编码了单词的局部属性，但在编码单词串的上下文关系方面存在不足。

Oct, 2023

利用差分隐私私密微调大型语言模型

通过使用基于 Edgeworth 会计师的有限样本隐私保证 DP 框架，我们提出了一种针对 LLM 的 DP 细调框架 ewtune，该框架直接降低了噪声的影响，且在自然语言理解任务上将最新的 LLMs 性能提高了 1.1％。

Oct, 2022

隐私保护模型用于法律自然语言处理

本文阐述了利用不同隐私保护训练配置扩大自监督学习 Transformer 模型的规模，提供 Domain Adaptation 和 Privacy Protection，实现在法律领域 NLP 下的无监督超大规模训练的技术，这在之前尚未得到解决。

Nov, 2022

双重微调：面向大语言模型的选择性差分隐私

本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

Apr, 2022

差分隐私语言模型受益于公共预训练

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

基础模型偏置项差分隐私微调

提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。

Sep, 2022