本文讨论保护自然语言隐私的技术是否足够广泛，提出现有数据保护方法不能为语言模型提供通用且有意义的隐私保护，因此应基于明确为公共使用的文本数据对语言模型进行训练。

Feb, 2022

语言模型如 mBERT、XLM-R 和 BLOOM 旨在实现多语言泛化或压缩，以便在大量（可能是未知的）语言中实现转移。然而，这些模型理想情况下还应该是私有的、语言公平的和透明的，通过将它们的预测与训练数据关联起来。我们展示多语言压缩和语言公平能够与差分隐私兼容，但差分隐私与训练数据影响稀疏性存在矛盾，这是透明度的目标。我们在两个常见的 NLP 任务上进行了一系列实验，并在不同的隐私保证下评估多语言压缩和训练数据影响稀疏性，更详细地探讨了这些权衡。我们的结果表明，我们需要开发一种共同优化这些目标的方法，以找到实际的权衡。

Aug, 2023

本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

Apr, 2022

通过广泛的评估结果，我们证明不同隐私度对公平性的影响并非单调。相反，我们观察到准确性差异在机器学习过程中添加更多的差分隐私噪声（增强隐私）时初步增加，但在更高隐私水平下通过更多噪声后逐渐减小。此外，通过在差分隐私随机梯度下降机器学习方法中实施梯度剪裁，可以减轻隐私噪声对公平性的负面影响。这种缓和是通过较低的剪裁阈值来调节差异性增长实现的。

Apr, 2024

机器学习中公平性和隐私性是两个重要的价值观，通过差分隐私机制来限制个体训练数据对结果模型的影响，但我们发现差分隐私会加剧性别、种族和宗教偏见，而反事实数据增强法可以缓解差分隐私所引发的偏见扩大，因此差分隐私和反事实数据增强法可以同时维护公平性和隐私。

Feb, 2024

本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

Mar, 2022

大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

Oct, 2023

通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

Sep, 2020

本研究就 NLP 系统展示的偏见和模型去偏见技术的限制做了梳理和评价，提出了实现公平学习的建议，具体包括明确不同方法之间的关系和与公平性理论的关系，以及处理模型选择问题的声明性工具，以帮助未来的工作。

Feb, 2023

隐私和公正是负责任的人工智能和可信机器学习的两个关键支柱。本文对隐私和公正在机器学习中的影响进行了综述，包括有监督学习、无监督学习、半监督学习和强化学习，并提出了同时实现这两个目标时所面临的研究挑战，特别关注大规模语言模型。

Jul, 2023