ACLMay, 2022

具有差分隐私文本编码器的公平自然语言处理模型

PDF
TL;DR本文提出 FEDERATE 方法，将差分隐私和对抗训练的思想结合起来，学习私有的文本表示，同时也促进了更公平的模型；在四个 NLP 数据集上的实证结果表明 FEDERATE 方法一致性地优于以前的方法。
encoded text representationsprivacy concernsfairnessfederatenlp datasets
发现论文，激发创造
  • 自然语言处理的差分隐私表示：形式保证和隐私公平性的实证研究

    提出了一种名为 DPNR 的深度学习方法，该方法使用差分隐私实现了对文本中提取的表示的隐私保护，并通过在强健训练中集成 DP 噪声表示来维护学习表示的效用。实验结果表明，DPNR 可以在不显著牺牲主要任务性能的情况下大大减少隐私泄露。

    Oct, 2020

  • 使用差分隐私和联邦学习实现隐私保护的金融文本分类

    本文介绍了基于 Bert 和 RoBERTa 等语言模型的文本分类模型，并采取差分隐私和联邦学习等隐私保护措施进行训练，以应用于敏感金融领域的实体检测和情感分析等自然语言处理任务，同时研究了隐私度与模型效用之间的平衡问题。

    Oct, 2021

  • BERT 模型的差分隐私和联邦学习基准测试

    本文研究了将自然语言处理技术应用于用语言集合进行抑郁症等疾病的诊断中，并探讨了应用差分隐私机制对 BERT、ALBERT、RoBERTa 和 DistilBERT 等语言模型进行中央化和联邦学习时的效果，并提供了开源实现。

    Jun, 2021

  • FairFed: 实现联邦学习中群组公平性

    本文提出了 FairFed 算法，该算法针对联邦学习中的群体公平性问题，在保证本地数据隐私的前提下，通过支持灵活的本地去偏差方法，增强了群体公平性，实验结果表明 FairFed 算法比现有的公平 ML 和联邦学习算法更加公平，特别是在数据分布不均的情况下。

    Oct, 2021

  • 内容条件去偏差以实现公平的文本嵌入

    在自然语言处理领域，解决机器学习模型中的偏见问题日益受到关注。本文提出了一种学习公平文本嵌入的新方法，通过确保在内容条件下敏感属性与文本嵌入之间的条件独立性，同时实现公平性并保持效用平衡。通过使用大型语言模型将文本扩充为不同敏感组，解决了缺乏适当训练数据的问题。我们的广泛评估表明，我们的方法在提高公平性的同时保持了嵌入的实用性，是在实现公平文本嵌入的条件独立性方面的先驱性工作。

    Feb, 2024

  • 公平差分隐私联邦学习框架

    通过应用裁剪技巧与高斯机制来解决不包含验证数据的公平差分私有联邦学习框架的可能出现的偏见更新问题，同时审查了隐私和公平性在联邦学习中的相关工作，并强调了 MITIGATE 偏见和确保隐私的最新进展和方法。

    May, 2023

  • 只分享你的表达：保证在联合学习中隐私效用权衡的改进

    使用差分隐私算法减轻联邦学习中的信息泄露风险，提供共识模型的协作更新，同时允许本地个性化，以优化隐私 - 效用权衡问题，并通过实验证明，在小的隐私预算下，相比之前的方法，在图像分类任务中取得显著性能提升。

    Sep, 2023

  • FedFair: 跨数据源联邦学习中的公平模型训练

    本文提出了一种基于联邦估计方法的公平模型训练方案，可以在跨边界联邦学习中保护隐私和公平，实现高性能的公平模型训练，实验结果表明本方法的性能优异。

    Sep, 2021

  • 关于联邦学习中隐私、公平性和效用之间的权衡

    为了提高联邦学习系统的公平性，本研究使用了公平度量指标构建本地公平模型，并提出了一种隐私保护的公平联邦学习方法。实验结果表明，隐私保护提高了公平模型的准确性，但在隐私、公平和实用性之间存在权衡。

    Nov, 2023

  • 在公平表示和准确性之间填补差距

    通过分析文档和句子的自然语言表示（即编码），我们发现并研究了这些编码中可能存在的针对不同子群体的偏见，并提出了缓解这种偏见的方法同时保持分类模型的较高准确性。

    Apr, 2024