Jan, 2022

Submix: 大规模语言模型的实用私密预测

PDF
TL;DR本文介绍了 SubMix，这是一种防止语言模型泄漏私有语料库信息的实用协议，其通过对预测结果进行一定程度的差分隐私处理，限制了个人用户的信息泄露，并保证了语言模型的效用。SubMix 是第一个可以在公开发布成千上万次基于 GPT-2 等大型 transformer 模型的预测结果时仍能维护隐私的协议。
发现论文，激发创造
  • 大型语言模型的差分隐私下一个令牌预测

    通过对公共 LLM 输出分布周围的集合投影，并对投影分布进行平均和抽样，PMixED 提供了基于模型预测的差分隐私保护方法，比样本级隐私更可靠，并在大规模数据集上胜过 DP-SGD。

    Mar, 2024

  • 领域私有转换器

    本篇论文提出了一种新颖的方法 —— 领域隐私，用以衡量条件语言模型在不同域之间泄露的可能性，并根据基于标记级别的域分类开发策略函数和一种高效的微调方法以提高已训练模型的域隐私；实验表明，我们的方法具有与不同 ially 私有语言模型的方法相当的弹性。

    May, 2023

  • 大语言模型时代的隐私保护：你所写即你所是

    本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。

    Apr, 2022

  • 计算机视觉中的混合差分隐私

    AdaMix 是一种自适应差分隐私算法，用于使用私有和公共图像数据训练深度神经网络分类器。它采用 few-shot training 和 zero-shot learning 来解决视觉分类中的隐私和准确性之间的权衡问题，并提供强大的理论隐私保证和收敛分析。

    Mar, 2022

  • 隐私保护模型用于法律自然语言处理

    本文阐述了利用不同隐私保护训练配置扩大自监督学习 Transformer 模型的规模，提供 Domain Adaptation 和 Privacy Protection，实现在法律领域 NLP 下的无监督超大规模训练的技术，这在之前尚未得到解决。

    Nov, 2022

  • 语言模型如何受指导以保护个人信息？

    大规模多模式语言模型已在许多应用中证明具有变革性。然而，这些模型已被证明会记忆和泄漏预训练数据，引发用户隐私和信息安全方面的严重关切。我们介绍了 PrivQA - 一个多模式基准，用于评估在模拟场景中指示模型保护特定类别个人信息时，此隐私 / 效用权衡。我们还提出了一种通过迭代自我调节响应的技术，在很大程度上提高了隐私。通过一系列红队实验，我们发现对手可以通过简单的越狱方法绕过这些保护，使用文本和 / 或图像输入。我们相信 PrivQA 有潜力支持开发具有改进隐私保护和对抗鲁棒性的新模型。我们在指定的网址上发布了整个 PrivQA 数据集。

    Oct, 2023

  • 大语言模型中的差分隐私解码

    本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有 LLM 模型，解决了 LLM 在隐私保护与重新训练之间的折中问题。

    May, 2022

  • 利用大型语言模型从隐私保护掩码中恢复

    使用大型语言模型，本研究探索了替代标记符的可行性，以保护用户隐私，分析了不同方法的实验结果，在下游语言建模任务中实现了与原始数据训练相媲美的性能。

    Sep, 2023

  • 预测文本语言模型的种植和减轻记忆内容

    通过测试效用一系列隐私保护技术来缓解大型语言模型不经意地记忆保密训练数据的风险，实验表明，差分隐私有可靠的隐私保护效果，但是性能代价较大。

    Dec, 2022

  • SelfMix: 自我混合训练抵御文本标签噪声的稳健学习

    本文提出一种用于处理文本分类任务中标签噪声的简单而有效的方法 SelfMix，该方法使用高斯混合模型来分离样本，并利用半监督学习。实验结果表明，我们的方法在不同类型的文本噪声下，比设计用于文本和视觉数据的强基线表现更优秀。

    Oct, 2022