EMNLPOct, 2021

使用差分隐私和联邦学习实现隐私保护的金融文本分类

PDF
TL;DR本文介绍了基于 Bert 和 RoBERTa 等语言模型的文本分类模型，并采取差分隐私和联邦学习等隐私保护措施进行训练，以应用于敏感金融领域的实体检测和情感分析等自然语言处理任务，同时研究了隐私度与模型效用之间的平衡问题。
privacynatural language processingtext classificationfinancial domaindifferential privacy
发现论文，激发创造
  • BERT 模型的差分隐私和联邦学习基准测试

    本文研究了将自然语言处理技术应用于用语言集合进行抑郁症等疾病的诊断中，并探讨了应用差分隐私机制对 BERT、ALBERT、RoBERTa 和 DistilBERT 等语言模型进行中央化和联邦学习时的效果，并提供了开源实现。

    Jun, 2021

  • 生物医学自然语言处理的联邦学习系统评估

    通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

    Jul, 2023

  • 从微调和差分私有微调的 BERT 模型中提取命名实体的研究

    本文研究从语言模型中提取个人信息风险，并探讨 Differentially Privacy 对 fine-tuned BERT 模型文本生成能力的影响，结果表明，BERT 不太可能泄露个人或隐私敏感的命名实体，并指出这些结果重要理解 BERT-based 服务易受到训练数据提取攻击的程度。

    Dec, 2022

  • 自然语言处理中的差分隐私：迄今为止的故事

    本文总结了隐私增强技术中差分隐私对自然语言处理中的隐私问题的影响和应用，以及现有研究的探讨和下一步的研究方向。

    Aug, 2022

  • 差分隐私自然语言模型：最新进展与未来方向

    该研究综述了近年来在自然语言处理（NLP）领域中，如何在保护敏感数据的隐私同时实现良好性能的关键挑战。为了保护数据隐私， 差分隐私（DP）成为了隐私数据分析的有效技术。本文着重探讨了在 DP 深度学习模型中的自然语言处理 (DP-NLP) 的最新研究进展，并阐述了一些挑战和未来方向。

    Jan, 2023

  • 如何保留文本隐私：一项针对自然语言处理的深度学习隐私保护方法的系统综述

    本文对 2016 年至 2020 年间发表的 60 种深度学习模型进行了系统综述，介绍了一种新的分类法，并讨论了隐私保护自然语言处理模型中的隐私问题。

    May, 2022

  • 在加密文本上训练自然语言处理模型以提高隐私性

    该研究提出了一种使用加密文本数据训练自然语言处理模型的方法，以解决隐私问题，并展示了加密和非加密模型在性能上的可比性。

    May, 2023

  • 隐私保护 BERT 的自然语言理解

    在自然语言理解和数据挖掘中，隐私保护仍然是一个关键的挑战。本文研究了对预先训练的语言模型应用局部差分隐私的隐私保护方法，并指出了这种方法在 BERT 细调中的实用性和隐私性的影响，同时提出了隐私适应性的语言模型预训练方法，可以显著提高 BERT 的实用性，并保持相同水平的隐私保护。本文实验和发现为未来探索隐私保护的自然语言理解提供了奠基。

    Apr, 2021

  • FedBot: 采用联邦学习增强聊天机器人隐私

    本研究提出的 Fedbot 是一个隐私保护的聊天机器人，通过 Federated Learning 和深度学习模型来保障客户的数据隐私，并在个性化和高效的客户服务上展示了潜在的应用前景。

    Apr, 2023

  • 联邦大型语言模型中的隐私泄漏分析

    我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

    Mar, 2024